İlhan Çiloğlu, 1930 yılında babasının öğretmenlik yaptığı Akşehir'de doğmuştur. Ailesinin kökü Burdur'un Çiloğlu ailesidir. İlkokula Konya'da başlamış Karaman'da bitirmiş orta okuldan da aynı şehirde mezun olmuştur. Liseyi Kuleli Askeri Lisesinden okumuş ve 1951 yılında Kara Harp okulundan Piyade subayı olarak mezun olmuştur. Piyase okulunu bitirdikten sonra 1953 yılında, Teğmen olarak Rami'de Ordu saflarına katılmıştır. Buradan, Bulgaristan hududunu korumaktan sorumlu olan Kırklarelin'de bulunan Hudut Taburuna atanmış ve 1955 yılında Üsteğmenliğe yükselmiş, 1956 yılında da isteği ile Kore'ye tayin edilmiştir.