Pada 1782, setelah hilangnya koloni-koloni di Amerika, jabatan itu dihapuskan, dan tugas-tugasnya diberikan kepada Menteri Dalam Negeri. Setelah itu beralih menjadi Kantor Perang, yang kemudian diubah menjadi Kantor Perang dan Kolonial. Pada 1854 kantor ini dipecah, dan Kantor Kolonial didirikan kembali.[1]