Hakim dilahirkan dari keluarga pedagang batik yang berpenghasilan pas-pasan sebagai anak ketujuh dari 14 bersaudara. Ia belajar di SD Muhammadiyah di kotanya, Pekalongan, dan lulus pada 1965, kemudian melanjutkan ke SMP (lulus 1968) dan SMA Muhammadiyah (lulus 1971) juga di Pekalongan, Jawa Tengah.
Ayahnya seorang yang taat beragama dan anggota Muhammadiyah, banyak menaruh perhatian pada masalah-masalah sosial. Keluarganya banyak mengikuti informasi politik dan pemerintah, di antaranya dengan berlangganan lima hingga tujuh surat kabar.
Ketika di bangku SMA, Hakim telah terlibat dalam organisasi sebagai anggota Pelajar Islam Indonesia (PII) cabang Pekalongan.
Lulus SMA, Hakim sempat setahun menganggur. Lalu pada 1978, ia masuk ke Fakultas Hukum Universitas Indonesia, dengan harapan akan dapat selesai dan mencari nafkah.
Menjadi pembela hak asasi manusia
Sejak kuliah di tingkat empat, Hakim sudah menjadi relawan di Lembaga Bantuan Hukum (LBH) Jakarta, di Divisi Hak Asasi Manusia. Oleh karena itu, setelah lulus pada 1978, ia mengambil spesialisasi Hukum Perdata Internasional di Universitas Washington. Selesai dari studinya, ia kembali ke LBH hingga diangkat sebagai direktur lembaga tersebut.
Abdul Hakim juga mengabdikan diri sebagai Wakil Ketua Tim Penyusunan Rancangan Undang-Undang Pengadilan HAM, Departemen Kehakiman dan Hak Asasi Manusia (1999), Wakil Ketua Tim RUU Komisi Kebenaran dan Rekonsiliasi, Departemen Kehakiman dan Hak Asasi Manusia, dan Anggota Tim Revisi RUU Penanggulangan Keadaan Bahaya, Departemen Pertahanan (2000).
Pada 2001, ia dicalonkan menjadi anggota Komisi Nasional Hak Asasi Manusia (Komnas HAM) oleh PP Muhammadiyah, Majelis Ulama Indonesia, dan LSM. Semula ia menolak pencalonan itu karena merasa ia sudah terlalu sibuk dengan kegiatan-kegiatannya selama ini, tetapi akhirnya ia berhasil diyakinkan.
Pada 2002, Abdul Hakim terpilih menjadi ketua kelima Komnas HAM untuk periode 2002-2007 menggantikan Djoko Soegianto.
Keluarga
Pada 1984 Abdul Hakim Garuda Nusantara menikah dengan Isjana Karna Kinasih, adik kandung Nursjahbani Katjasungkana. Pasangan ini dikaruniai tiga orang anak.