Dalam Agresi Militer II Belanda itu, Yogyakarta berhasil dikuasai Belanda. Bung Karno dan Bung Hatta serta beberapa anggota kabinet juga sudah ditawan. Presiden Soekarno sebelumnya telah menganjurkannya untuk tetap tinggal dalam kota untuk melakukan perawatan.
Namun anjuran itu tidak bisa dipenuhinya, ia tetap memimpin perang gerilya pada Belanda , tanggung jawabnya sebagai pemimpin tentara. Maka dengan ditandu, dia berangkat memimpin pasukan untuk melakukan perang gerilya. Kurang lebih selama tujuh bulan ia berpindah-pindah dari hutan yang satu ke hutan yang lain, dari gunung ke gunung dalam keadaan sakit dan lemah sekali sementara obat juga hampir-hampir tidak ada.
Seorang Panglima yang istimewa, dengan kekuatan iman dan keislaman yang melekat kuat dalam dadanya. Sangat meneladani kehidupan Rasulullah, yang mengajarkan kesederhanan dan kebersahajaan. Sehingga perlakuan khusus dari jamaah pengajian yang rutin diikutinya, dianggap terlalu berlebihan dan ditolaknya dengan halus.
Dia menanamkan kepada para anak buahnya, bahwa mereka yang gugur dalam perang ini tidaklah mati sia-sia, melainkan gugur sebagai syuhada. Untuk menyebarluaskan semangat perjuangan jihad tersebut, di kalangan tentara atau seluruh rakyat Indonesia, Jenderal besar ini menyebarkan pamflet atau selebaran yang berisikan seruan kepada seluruh rakyat dan tentara untuk terus berjuang melawan Belanda.
Ia mengutip hadits Nabi. “Insjafilah! Barang siapa mati, padahal (sewaktoe hidoepnja) beloem pernah toeroet berperang (membela keadilan) bahkan hatinya berhasrat perang poen tidak, maka matilah ia di atas tjabang kemoenafekan.”
Namun akhirnya dia harus pulang dari medan gerilya. Da meninggal pada usia yang masih relatif muda, 34 tahun. Pada tanggal 29 Januari 1950, Panglima Besar ini meninggal dunia di Magelang dan dimakamkan di Taman Makam Pahlawan Semaki, Yogyakarta. Jenderal Soedirman dinobatkan sebagai Pahlawan Pembela Kemerdekaan.