Teman-teman Subagyo menilai cita-cita tersebut terlalu muluk. Mereka mengetahui latar belakang keluarga Subagyo yang berasal dari desa dengan kondisi ekonomi sederhana.
Rosil, salah seorang teman Subagyo yang kelak menjadi pengusaha di Yogyakarta sekaligus aktivis Muhammadiyah, mengungkapkan saat itu tidak banyak yang percaya Subagyo mampu mewujudkan impiannya.
“Waktu itu Subagyo sudah sangat yakin dirinya akan bisa menjadi jenderal. Tapi teman-temannya tidak ada yang percaya. Bagaimana mungkin dia bisa mewujudkan impiannya itu, kami tahu latar belakangnya,” kata dia.
Subagyo lahir pada 12 Juni 1946 di Desa Piyungan, Kabupaten Bantul, sekitar 15 kilometer di sebelah timur Yogyakarta. Dia merupakan anak ketiga dari lima bersaudara pasangan Yakub Hadi Siswoyo dan Sukiyah.
Saat lahir, namanya hanya Subagyo, tanpa embel-embel Hadi Siswoyo. Nama tersebut memiliki makna tersendiri, yakni su yang berarti lebih dan bagyo yang diartikan sebagai bahagia.