Selain itu gua ini juga menjadi tempat semedi oleh raja-raja di Jawa, termasuk juga Presiden ke-2 RI Soeharto. Ada kisah lain ketika Soeharto mendapatkan wangsit akan menjadi presiden RI juga di Gua Semar ini.
Ya, Gua Semar disebut menjadi tempat yang pernah digunakan Soeharto untuk bertapa. Setelah melakukan pertapaan di Gua Semar, Soeharto melakukan ritual mandi di Telaga Warna yang melambangkan pengendalian atas empat nafsu dunia. Kemudian dia melanjutkan pengendalian tersebut di Gua Jaran atau Gua Kuda di sebelah utara Gua Semar.
Dari sana, Soeharto melanjutkannya ke Gua Sumur, yang memiliki ruang lebih luas dari Gua semar dan sumber air yang mempunyai ketinggian tetap, baik musim hujan atau pun kemarau. Oleh sebab itu, sumber air ini juga dikenal sebagai Air Kehidupan.
Kemudian, Soeharto mengakhiri pertapaannya di Kawah Si Kijang, Kawah Sileri, Sumur Jalatunda dan Kawah Condrodimuko.
Menurut keterangan juru kunci, kompleks Gua Semar merupakan lokasi istana terakhir Mandala Sari atau Semar. Dia bertapa abadi di sana setelah melakukan pertapaan panjang di berbagai tempat.
Selain itu, menurut kepercayaan yang ada, urutan pertapaan di tanah Jawa akan selalu berakhir di kawasan Dieng. Sebab itu, mengapa dataran tinggi Dieng juga dikenal dengan sebutan Tempatnya Para Dewa.
Begitulah kisah mistis Gua Semarang yang konon sebagai tempat bersemedi para raja-raja Jawa dan pertapaan Presiden ke-2 RI Soeharto.