Walker lahir di penanaman teh di India pada keluarga militer dan merupakan salah satu dari empat putra. Pada akhir Perang Dunia I, Walker dan keluarganya kembali ke Britania dan ia dikirim ke Sekolah Blundell di Devon.[1] Bahkan sebagai anak-anak ia memiliki bakat militer.
Walker lalu pergi ke Sandhurst dan pada tahun 1933 bergabung dengan regimen kakeknya, 1/8th Gurkha Rifles. Selama sisa dekade, ia melakukan operasi melawan penduduk asli North West Frontier di India.[2]