Baru pada tahun 1950, ia masuk ke Madrasah Muallimin Muhammadiyah di Balai Tangah, Lintau sampai duduk di bangku kelas tiga.
Di usia 18 tahun, Buya Syafii memutuskan untuk meninggalkan kampung halamannya, merantau ke Jawa, tepatnya di Yogyakarta, bersama dua adik sepupunya, Azra'i dan Suward.
Namun, niat semula kepergiannya ke Jawa untuk melanjutkan sekolah, justru harus terhalang. Dia ditolak oleh pihak sekolah kala itu, dengan alasan ruang bangku telah penuh.
Tak lama setelah itu, ia justru diangkat menjadi guru bahasa Indonesia dan bahasa Inggris di sekolah tersebut, meski tak lama. Ia kembali mendaftar ke Muallimin dan akhirnya ia diterima tetapi ia harus mengulang kuartal terakhir kelas tiga.
Selama belajar di sekolah tersebut, ia aktif dalam organisasi kepanduan Hizbul Wathan dan pernah menjadi pemimpin redaksi majalah Sinar (Kini Dibawahi oleh Lembaga Pers Muallimin), sebuah majalah pelajar Muallimin di Yogyakarta.