Pukulannya membuat banteng liar itu kelenger sekaligus tewas seketika. Namun dia merasa ngeri melihat darah yang muncrat dari luka si banteng. “Akibatnya, Sultan menolaknya masuk ketentaraan Demak,” tulis Martin Moentadhim S.M.
Ki Ageng Sela masygul. Harapannya menjadi prajurit Tamtama Demak, kandas. Dia yang kecewa berat merasa sakit hati.
Diceritakan dalam kisah babad, Ki Ageng Sela sempat mengamuk, namun kalah dan akhirnya memutuskan pulang ke Desa Selo (sekarang Kabupaten Boyolali), tempat kelahirannya.
Gagal menjadi tentara, Ki Ageng Sela banting stir menjadi petani sekaligus guru spiritual. Dia menyukai laku bertapa, menyendiri di tempat-tempat sepi.
Ki Ageng Sela menempuh jalan zuhud, yakni tidak lagi mementingkan harta benda dunia. Hasil bercocok tanamnya ia bagi-bagikan kepada tetangga yang membutuhkan.
"Kesukaan Ki Ageng Sela ialah bertapa di hutan, gua, gunung, sambil bertani menggarap sawah," tulis Martin Moentadhim S.M dalam buku “Pajang, Pergolakan Spiritual, Politik & Budaya”.