Akademi Militer Whampoa resmi dibuka pada 1 Mei 1924 di bawah pemerintahan Kuomintang (KMT), namun pelajaran pertama baru dimulai pada 16 Juni 1924. Peresmian dilakukan di Pulau Changzhou di lepas pantai distrik Huangpu (yang diromanisasikan menjadi Whampoa, yang kemudian dijadikan nama akademi militer ini), di provinsi Guangzhou.
Dalam upacara peresmian, Sun Yat-sen berpidato (atau disebut Sun Yixian dalam bahasa Mandarin), yang kemudian dijadikan lirik lagu kebangsaan Republik Tiongkok. Akademi ini merupakan salah satu institusi terpenting di Republik Tiongkok saat itu bersama dengan Universitas Nasional Cheng Chi yang merupakan inkubator bergengsi bagi para pegawai negeri sipil senior.
Setelah pemerintah Republik Tiongkok (1912–1949) mundur dari Tiongkok daratan ke Taiwan, Akademi Militer Whampoa didirikan kembali menjadi Akademi Militer Republik Tiongkok di distrik Fengshan, Kaohsiung, Taiwan.
