Akibat aksi nekat dan keberaniannya mencabut patok-patok Belanda itu, terjadi peristiwa pembakaran kediaman Pangeran Diponegoro di Tegalrejo pada bulan Juli 1825.
Namun, pasukan Belanda yang dipimpin oleh Residen Chevallier tak menemukan Pangeran Diponegoro beserta istrinya. Pangeran Diponegoro terlebih dahulu melarikan diri ke arah barat hingga menemukan tempat aman yang tidak lain adalah Goa Selarong.
Kala itu, kepergian Pangeran Diponegoro diikuti oleh masyarakat keraton yang berjumlah 77 orang. Dengan segera, Pangeran Diponegoro langsung membangun pertahanan dan menyusun strategi pembalasan di Gua Selarong.
Selama mengungsi di Goa Selarong, pasukan Pangeran Diponegoro bertambah jumlahnya bahkan sampai ribuan dari masyarakat sekitar gua.
Selama bersembunyi di Gua Selarong, tercatat pasukan Belanda pernah melancarkan serangan sebanyak 3 kali. Namun, upaya tersebut gagal karena Pangeran Diponegoro telah pergi ke gua sekitarnya.