Abraham lahir dengan nama Murray Abraham pada 24 Oktober 1939 di Pittsburgh, Pennsylvania, sebagai putra dari Frederick Abraham, seorang teknisi otomotif, dan istrinya Josephine (née Stello), seorang ibu rumah tangga.[1][2] Ayahnya adalah orang Asiria[3] dan berpindah dari Suriah saat bencana kelaparan yang terjadi pada 1920an; kakek pihak ayahnya adalah seorang chanter dalam Gereja Ortodoks Suriah.[1] Ibunya, salah satu dari empat belas bersaudara, adalah seorang Italia Amerika, dan putri dari seorang imigran yang bekerja pada pertambangan batubara di Western Pennsylvania.[1] Abraham menambahkan "F." untuk nama panggungnya sebagai penghormatan terhadap ayahnya Frederick.[4]