Ia berasal dari keluarga bangsawan de Lannoy. Charles de Lannoy lahir sebagai putra yang lebih muda dari Jean IV de Lannoy, Lord Mingoval, ia sendiri adalah keponakan Jean III de Lannoy. Ibundanya adalah Philipotte de Lalaing (skt. 1487). Pada tahun 1509, ia menikahi Francoise de Montbel, dan memiliki beberapa anak. Pada tahun 1526 ia menjadi comte pertama Lannoy dan Mayordomo mayor untuk kaisar. Ia digantikan oleh putranya Filippo di Lannoy.