Ghani juga menjabat sebagai Wakil Presiden kedua Republik Arab Yaman pada 1980-an, dan sebagai Perdana MenteriRepublik Arab Yaman dua kali. Masa jabatan pertamanya dari tahun 1975 hingga 1980 dan masa jabatan keduanya dari tahun 1983 hingga unifikasi pada tahun 1990.[1][2]
Abdul Ghani menjadi presiden Dewan Permusyawaratan (Dewan Syura) dari tahun 2001 hingga kematiannya pada tahun 2011.[3]
Dia meninggal di Arab Saudi pada 22 Agustus 2011 dari luka yang diderita dalam upaya pembunuhan Juni terhadap Presiden Ali Abdullah Saleh kata seorang pejabat pemerintah Saleh di Riyadh.
Ghani adalah tokoh politik senior pertama yang meninggal akibat ledakan di masjid istana Saleh yang memaksa presiden dan sejumlah pembantunya untuk berobat ke Arab Saudi.[4]