Karier Luhut di dunia militer dimulai Tahun 1967. Luhut mengawali karirnya dengan masuk Akademi Angkatan Bersenjata Republik Indonesia (AKABRI) bagian Darat dan tiga tahun kemudian meraih predikat sebagai Lulusan Terbaik pada tahun 1970, sehingga mendapatkan penghargaan Adhi Makayasa.
Karier militernya banyak dihabiskan di Kopassus TNI AD. Di kalangan militer dia dikenal sebagai Komandan pertama Detasemen 81. Berbagai medan tempur dan jabatan penting telah disandangnya mulai dari Komandan Grup 3 Kopassus, Komandan Pusat Kesenjataan Infanteri (Pussenif), hingga Komandan Pendidikan dan Latihan (Kodiklat) TNI Angkatan Darat.
Ketika menjadi perwira menengah, pengalamannya berlatih di unit-unit pasukan khusus terbaik dunia memberinya bekal untuk mendirikan sekaligus menjadi komandan pertama detasemen 81 (sekarang Sat-81/Gultor) kesatuan baret merah Kopassus. Dia menjadi salah satu pasukan khusus penanggulangan terorisme terbaik di dunia.