Zulkarnaen memulai kariernya ketika ia bergabung ke Komite Nasional Pemuda Indonesia (KNPI) setidaknya pada tahun 1975. Setelah ia berkuliah di Institut Agama Islam Negeri Syarif Hidayatullah sejak tahun 1978, ia menduduki jabatan Ketua KNPI untuk wilayah DKI Jakarta pada tahun 1981. Ia juga mulai bergabung dengan Partai Golkar sekitar tahun 1984, ketika ia menjabat sebagai sekretaris di Dewan Pimpinan Daerah Golkar di DKI Jakarta. Sebelum ia menjadi anggota DPR, ia juga merupakan direktur umum bagi PT Presiden Taxi pada tahun 1988[2]
Zulkarnaen menjadi anggota DPR setelah ia memenangkan pemilihan umum legislatif 2004 di daerah pemilihan Jawa Barat V dengan 43.486 suara.[3] Setelah ia menjabat sebagai anggota DPR periode 2004 - 2009, ia mencalonkan diri kembali dalam pemilihan umum legislatif 2009 di daerah pemilihan yang sama dan memenangkan 41.828 suara.[4] Oleh fraksinya, ia ditempatkan di Komisi VIII yang mengurusi bidang Agama, Sosial dan Pemberdayaan Perempuan.[5]
Kasus korupsi
Pada bulan Juni 2012, Zulkarnaen dijadikan tersangka oleh Komisi Pemberantasan Korupsi atas dugaan kasus korupsi di Kementerian Agama.[6] Ia terbukti bersalah menerima suap dari berbagai perusahaan swasta dan mengintervensi beberapa pejabat Kementerian Agama untuk memenangkan tender pengadaan fasilitas laboratorium komputer di Madrasah Tsanawiyah pada tahun 2011 dan pengadaan Al-Qur'an untuk tahun anggaran 2011 - 2012. Ia ditangkap bersama dengan anaknya, Dendy Prasetia, yang juga menerima uang suap dengan total mencapai 11,4 miliar rupiah. Total kerugian negara akibat kasus ini diperkirakan sekitar 35 miliar rupiah.[7] Pada akhirnya, Zulkarnaen divonis 15 tahun penjara ditambah denda 300 juta rupiah, sedangkan Dendy divonis 8 tahun penjara dengan jumlah denda yang sama. Selain itu, mereka juga harus mengembalikan uang yang telah mereka korupsikan masing-masing 5,7 miliar rupiah.[8] Ia sempat mengajukan banding hingga peninjauan kembali kepada Mahkamah Agung, tetapi permintaannya ditolak.[9]
Kasus ini juga menyeret Fahd El Fouz, yang merupakan ketua dari organisasi masyarakat Musyawarah Kekeluargaan Gotong Royong, di mana Zulkarnaen dan Dendy menjadi pengurusnya. Ia divonis 4 tahun penjara dan denda 200 juta rupiah.[1][10]