Ayahnya adalah Jahsy bin Ri’ab bin Ya‘mur, keturunan Bani Ghanam bin Dudan bin Asad bin Khuzaimah. Kabilah Bani Ghanam dari Bani Asad bin Khuzaimah adalah salah satu kabilah suku Quraisy. Bani Ghanam bersekutu dengan Bani Abdu Syams, sukunya Utsman bin Affan. Semua laki-laki dan perempuan dari suku Bani Ghanam masuk Islam dan hijrah ke Madinah. Ibunya adalah Umaimah binti Abdul-Muththalib bin Hasyim bin Abdi-Manaf bin Qushay, bibi Nabi Muhammad. Dia memiliki dua saudara, Ubaidullah dan Abu Ahmad, yang bersama-sama ketiganya masuk Islam sebelum dakwah Nabi Muhammad di Darul Arqam, dan seorang saudari yang dinikahi Nabi Muhammad, Zainab binti Jahsy.
Termasuk generasi as-Sābiqūn al-Awwalūn
Sebelum Islam, terjadi beberapa peristiwa di Mekah yang terjadi berhubungan dengan Nabi Muhammad, seperti renovasi Ka'bah lima tahun sebelum kenabian Muhammad. Ketika itu, terjadi perselisihan di antara empat pemimpin Quraisy yang bisa memicu peperangan, yaitu tentang siapa yang berhak menempatkan Hajar Aswad pada posisi yang seharusnya. Mereka kemudian menjadikan Muhammad, yang ketika itu belum menjadi nabi, untuk memberi solusi. Muhammad membentangkan selembar kain dan menawarkan keempat pemimpin itu bersama-sama mengangkat Hajar Aswad ke tempatnya; sebuah solusi yang diterima oleh keempat pemimpin tersebut. Abdullah menjadi salah satu saksi ketika Nabi Muhammad menyelesaikan perselisihan, yang bisa membesar menjadi perang antar-suku, ini secara adil.
Ketika Muhammad mendakwahkan Islam secara sembunyi-sembunyi, Abdullah adalah salah satu di antara yang menerima dakwah Islam, yaitu melalui Abu Bakar ash-Shiddiq, bahkan sebelum Muhammad berdakwah di Darul Arqam. Muhammad baru berdakwah di Darul Arqam ketika pemeluk Islam mencapai tiga puluh orang.
Ubaidullah mengikuti Abdullah hijrah ke Habasyah, tetapi di sana dia masuk agama Nasrani dan meninggal dalam keyakinan tersebut. Hijrah ke Habasyah (Abysina) diikuti Zainab bint Jahsy (istri Nabi Muhammad), Ummu Habibah binti Abu Sofyan, dan Hamnah binti Jahsy. Saat hijar ke Madinah, Abdullah tinggal bersama Ashim bin Tsabit.
