Aspel lahir di Battersea di London. Saat Perang Dunia Kedua ia dievakuasi dari tempat tinggalnya dan menghabiskan hampir lima tahun tinggal di Chard, Somerset.[3] Ia bersekolah di Emanuel School dan mengikuti wajib militer pada Layanan Nasional, sejak 1951 hingga 1953.[4]