Salah seorang selirnya yang terakhir cukup cantik untuk memancing sifat mata keranjang asisten Residen Belanda untuk Yogyakarta, yang memang suka main perempuan bernama P.F.H Chevallier, yang kemudian hidup bersama dengannya selama beberapa bulan sebelum Perang Jawa.
Konon Pangeran Diponegoro memiliki setidaknya 17 anak, 12 anak laki-laki, dan lima anak perempuan, dari istri - istrinya. Semasa perangnya, Pangeran Diponegoro sempat ditinggal meninggal dunia istri keempatnya yang paling dikasihinya bernama Raden Ayu Maduretno.
Di penghujung November 1827 Diponegoro menikahi tiga istri baru, salah satunya adalah Raden Ayu Retnoningsih (1810 - 1885), yang merupakan putri bupati Keniten atau Madiun, dan kemenakan perempuan Raden Ronggo Prawirodirjo III, yang di mata Diponegoro adalah seorang pahlawan.
Ketika dinikahi Diponegoro, Raden Ayu Retnoningsih masih berada di usia akhir remaja 17 tahun. Menurut pengakuan Knoerle, ia sungguh cantik dan sebagai satu-satunya istri resmi yang menemani Pangeran Diponegoro di pengasingan ia memberi dua anak.
Sekalipun Diponegoro punya daya tarik besar dan merupakan pribadi yang hangat, jika berhadapan dengan lawan jenis. Sumber-sumber yang ada, tak mau menyebut tentang rasa humor yang sering dikeluarkan Diponegoro. Namun konon orang - orang Eropa zaman itu cenderung memotretnya sebagai sosok yang kaku dan menakutkan.
Soal sosoknya di mata orang Eropa, Diponegoro kerap kali mengirimkan pakaian perempuan kepada komandan tentaranya yang dianggap telah bertindak pengecut, disertai catatan tulisan tangan di situ. Disebutkan, pakaian - pakaian ini ini lebih pantas bagi mereka daripada baju seragam tempur.