Dia merupakan sosok yang dekat dengan Letjen Ahmad Yani. Kedekatannya dengan Ahmad Yani membuat mimpinya menjadi tentara menggelora. Sarwo kemudian bergabung dengan batalion Ahmad Yani di Magelang, Jawa Tengah.
Selama berkiprah di TNI, karier Sarwo terbilang moncer. Dia pernah menjadi Komandan Batalion di Divisi Diponegoro pada 1945-1951, Komandan Resimen Divisi Diponegoro pada 1951-1953, Wakil Komandan Resimen di Akademi Militer Nasional pada 1959-1961, Kepala Staf Resimen Pasukan Komando pada 1962-1964, dan Komandan RPKAD pada 1964-1967.
Selama kiprahnya sebagai komandan, Sarwo kerap melakukan show of force dan memperlihatkan kekuatan militer Indonesia sehingga membuat masyarakat tak takut dengan kekuatan pemberontak PKI. Dia pun menjadi salah satu jenderal paling disegani di Indonesia.