Ia adalah anak laki-laki kesukaan Maria Theresia. Ia membenci kakaknya, Joseph. Karl Joseph sering berkata bahwa ia berniat bersaing dengan kakaknya dalam memperebutkan takhta.
Pemusuhan ini berakhir karena Karl Joseph meninggal akibat penyakit variola, dua minggu sebelum ulang tahunnya yang ke-16. Saat Maria Theresia sedang menangis di sampingnya di tempat tidur, Karl Joseph memberitahukan kepadanya:
Kamu sebaiknya jangan menangisi aku, ibuku sayang, karena kalau aku tetap hidup, aku akan mengakibatkan lebih banyak tetesan air mata![1]
