Keluarga Hadi Siswoyo hidup sederhana. Rumah mereka berdinding gedek atau anyaman bambu dengan lantai tanah. Untuk membantu perekonomian keluarga, Sukiyah berjualan di pasar, sedangkan Yakub bekerja sebagai juru penerang di Djawatan Penerangan.
Ejekan teman-temannya sempat membuat Subagyo tersinggung. Dia berharap mendapat dukungan dan doa, tetapi justru dianggap tidak akan mampu mencapai cita-citanya.
Namun, pengalaman tersebut menjadi pemicu semangatnya. Subagyo bertekad membuktikan impiannya bukan sekadar angan-angan.
“Suk, aku dadi bintang papat (besok, aku jadi bintang empat),” kata Bagyo dalam hati.
Tekad Subagyo perlahan terbayar. Setelah mengabdi selama lebih dari dua dekade di militer, lulusan Akademi Angkatan Bersenjata Republik Indonesia (Akabri) 1970 itu mendapat promosi kenaikan pangkat pada Mei 1994. Saat itu, Kolonel Inf Subagyo resmi menyandang pangkat brigadir jenderal atau bintang satu.