Ali Akbar Marbun lahir di desa Siniang, kecamatan Pakkat, kabupaten Humbang Hasundutan, Sumatera Utara. Ia merupakan anak ketujuh dari delapan bersaudara. Ayah dan ibu Ali bekerja sebagai petani.
Pendidikan
Ali Akbar menempuh pendidikan di Pondok Pesantren Musthafawiyah di desa Purba Baru, kecamatan Lembah Sorik Merapi, kabupaten Mandailing Natal. Ini merupakan salah satu pesantren tertua di Sumatera Utara. Ali Akbar menempuh pendidikan pesantren selama 4 tahun. Kemudian pada tahun 1969, ia menunaikan ibadah haji ke Mekkah. Usai menunaikan ibadah haji, Ali Akbar tinggal di Mekkah untuk melanjutkan pembelajarannya. Di sana, ia belajar kepada ulama-ulama Sunni, salah satunya kepada Sayyid Muhammad Alawi Al Maliki Al Hasani. Ia menyelesaikan pembelajarannya di Mekkah pada tahun 1978. Setelah itu, Ali Akbar kembali ke Medan dan mendirikan Pondok Pesantren Al Kautsar Al Akbar.