KH Cholil merupakan kiai yang pertama kali memopulerkan kitab babon Bahasa Arab yaitu Alfiyah ibnu Malik dan dianggap sebagai waliyullah. Di pesantren Kiai Cholil, KH Hasyum Asy’ari menempuh pendidikan selama tiga tahun.
Pada 1891, Kiai Hasyim melanjutkan pendidikannya ke Pesantren Siwalan, Sidoarjo asuhan Kiai Ya’qub. Di pesantrenn itu, Kiai Hasyim belajar agama selama lima tahun dan diminta untuk menikahi putri Kiai yaqub, yakni Khadijah.
Selepas menikah, Kiai Hasyim menunaikan ibadah haji. Namun, selesai haji, Kiai hasyim tidak lantas pulang ke Tanah Air. Kiai Hasyim memilih menetap di Mekkah untuk belajar agama selama tujuh bulan. Di mekah, Kiai hasyim dikaruniai putra yakni Abdullah. Namun, kegembiraan itu berubah duka setelah sang istri Nyai Hajjah Khadijah wafat.
Setelah itu, Kiai Hasyim pulang ke Tanah Air. Namun, tidak lama sekembalinya dari Mekkah tepatnya tahun 1893, Kiai Hasyim kembali ke Mekkah untuk menuntu ilmu. Kali ini, Kiai Hasyim ditemani adiknya Anis. Namun, sanga dik dipanggil Allah SWt dan dimakamkan di Mekkah.
Peristiwa itu lantas membuat Kiai Hasyim semakin dekat dengan Allah. Selama di Mekkah, Kiai Hasyim menimba ilmu ke sejumlah ulama terkenal. Di antaranya Syaikh Syuaib bin Abdurrahman, Syaikh mahfudz al Turmusi, Syaikh Khatib Al Minangkabawi, Syaikh Amin Al Aththar, Syaikh Ibrahim Arab, Syaikh Said Al Yamani, Syaikh Rahmatullah dan Syaikh Bafadhal.
Kiai Hasyim belajar ilmu hadis ke Syaikh Mahfudz al Tumursi, ulama asal Termas. Ia ulama yang mengajarkan kitab Sahih Bukhari di mekkah. Dari syaikh Akhmad Khatib, Kiai Hasyim belajar ilmu fikih mazhab Syaifii. Konon KH Ahmad Dahlan pendiri Muhammadiyah juga salah satu murid Syaikh Ahmad Khatib.
Kesungguhan Kiai Hasyim menuntut ilmu membuahkan hasil manis. Kiai Hasyim ditunjuk sebagais alah satu guru di masjidil Haram bersama para ulama Indonesia lain di antaranya Syeikh Nawawi al bantani dan Syaikh Khatib Al Minangkabawi.
Ulama asal Indonesia pada masa lalu bukan hanya murid ulama Timur Tengah dan dunia Islam lainnya tetapi mereka juga sebagai guru karena kedalaman ilmu agamanya.
Setelah tujuh tahun menetap di Makkah, Kiai Hasyim kemudian kembali ke kampung halaman pada 1899. Pada mulanya, Kiai Hasyim tinggal di rumah mertunya di Kediri, Lalu, dia membantu kakeknya, Kiai Usman mengajar di pesantren Gedang hingga kemudian membantu ayahnya, Kiai Asy'ari mengajar di Pesantren Keras, Jombang dan kemudian mendirikan Pondok Pesantren Tebuireng.