Gilbert lahir di 17 Southampton Street, Strand, London. Ayahnya, William Gilbert, adalah dokter bedah angkatan laut yang kemudian menjadi penulis novel dan cerita pendek. Ibu Gilbert adalah Ann Morris. Mereka bercerai pada 1876. Glbert memiliki tiga adik perempuan: Jane, Maude, dan Florence.
Ia bersekolah di Boulogne, Prancis, kemudian di Great Ealing School dan King's College London, lulus pada tahun 1856. Pada 1859 ia bergabung dengan Volunteer Force, mencapai pangkat Kapten. Ia sempat menjadi pengacara sebentar, tetapi hanya mendapat 5 pelanggan setahun.
