Kehausannya akan ilmu agama terus bertambah. Mbah Kholil muda berkeinginan untuk menimba ilmu ke Makkah. Niatnya itu tidak disampaikan kepada orangtuanya, apalagi meminta ongkos kepada orangtua. Mbah Kholil akhirnya pergi ke pesantren di Banyuwangi dan nyambi menjadi “buruh” pemetik kelapa pada gurunya. Untuk setiap pohonnya, dia mendapat upah 2,5 sen.
Uang yang diperolehnya tersebut dia tabung. Sedangkan untuk makan, Mbah Kholil menyiasatinya dengan mengisi bak mandi, mencuci dan melakukan pekerjaan rumah lainnya, serta menjadi juru masak teman-temannya.
Menginjak usia 24 tahun, Mbah Kholil memutuskan untuk pergi ke Mekkah. Di Mekkah, Mbah Kholil belajar dengan Syeikh Nawawi Al-Bantani (Guru Ulama Indonesia dari Banten). Di antara gurunya di Makkah ialah Syeikh Utsman bin Hasan Ad-Dimyathi, Sayyid Ahmad bin Zaini Dahlan, Syeikh Mustafa bin Muhammad Al-Afifi Al-Makki, Syeikh Abdul Hamid bin Mahmud Asy-Syarwani. Beberapa sanad hadits yang musalsal diterima dari Syeikh Nawawi Al-Bantani dan Abdul Ghani bin Subuh bin Ismail Al-Bimawi (Bima, Sumbawa).
Sewaktu berada di Mekkah untuk mencukupi kebutuhan sehari-hari, Mbah Kholil bekerja mengambil upah sebagai penyalin kitab-kitab yang diperlukan oleh para pelajar. Sepulangnya dari Mekkah, Mbah Kholil dikenal sebagai salah seorang kiai yang dapat memadukan kedua hal itu dengan serasi.
Dia juga dikenal sebagai al-Hafidz (hafal Alquran 30 Juz). Sepulang dari Mekkah, Mbah Kholil mendirikan pesantren di daerah Cengkubuan, Bangkalan.