Kedua gua ini sering dikaitkan dengan tradisi spiritual Jawa dan sering dikunjungi oleh para elite istana untuk bersemedi dan menyepi.
Bahkan gua pertama disebut bagian dari istana para lelembut yang diperintah oleh Dewi Pantai Selatan, Ratu Kidul, melalui wakilnya Dewi Genowati.
Gua kedua yakni Sigolgolo disebut di dalam serial lakon wayang Bima Rare, yang menampilkan kepahlawanan tokoh wayang Bima, khususnya lakon Bale Sigolgolo. Bima yang ketika masih muda datang ke gua itu untuk bersemedi mencari air kehidupan dan melewati ujian api.
Diponegoro kemudian melintasi kaki Gunung Kidul dan pergi ke Gua Langse. Gua ini memiliki lokasi yang menjorok di atas lautan selatan Yogyakarta.
Lokasi gua ini seperti menggantung di atas laut. Hanya dapat dicapai lewat jalan terjal setapak menuruni karang-karang kapur dan melalui suatu jalan masuk yang nyaris sejajar dengan permukaan air laut.