Aberbach menikahi Anne Marie pada 1953. Mereka memiliki dua putra, Dolfi yang wafat di usia 23 tahun pada 1983 dan Ronny yang wafat dalam sebuah kecelakaan pada tahun yang sama, dan seorang putri, Belinda. Saudaranya Jean Aberbach wafat pada 1992.[2][3]
Julian Aberbach wafat akibat serangan jantung di New York pada 2004 di usia 95 tahun.[3]