Setelah itu, ia dilantik menjadi Menteri Pemuda dan Olahraga mulai 1 Desember1993 hingga Maret 1995 dan mendapat julukan sebagai 'Bapa Rakan Muda' karena berhasil memperkenalkan program Rakan Muda yang mendatangkan manfaat kepada golongan remaja dan pemuda. Pada 3 Mei1995, layanan bakti Abdul Ghani mulai ditagih oleh rakyat Johor dan ia bertanding di peringkat DUN Serom setelah lebih 10 tahun bertugas di peringkat Pusat.
Keluarga
Abdul Ghani yang menikah dengan Datin Paduka Prof. Dr. Jamilah Arifin dikaruniai dua orang anak.
Anugerah
Pada tahun 1989, ia dikaruniai pingat Seri Mahkota Johor (SMJ) oleh Baginda Sultan Johor. Pada tahun 1996 dikurniakan pingat DK(II) oleh Sultan Johor. Ia pernah menerima anugerah dari Timesport sebagai Sport Toto Man of The Year Award pada 1994.