Kiai Muhammad Kholil sendiri pernah ditahan oleh penjajah Belanda. Dia dituduh melindungi beberapa orang yang terlibat melawan Belanda di pondok pesantrennya.
Saat itulah terlihat karomah Kiai Kholil Bangkalan hingga membuat santri terkaget-kaget. Bahkan, Kompeni Belanda dibuat pusing dengan berbagai kejadian yang tidak bisa dimengerti.
Dikisahkan, saat itu seorang santri memohon agar Kiai Kholil Bangkalan memimpin doa tahlil di daerah Gresik. Karena bersyukur permintaanya dikabulkan, maka santri tersebut menyembelih seekor sapi untuk sedekah.
Namun santri tersebut kecewa saat pelaksanaan tahlil. Sebab, Kiai Kholil Bangkalan hanya membaca laa ilaha illallah sebanyak tiga kali, serta ditutup dengan bacaan Muhammadurrasulullah lalu diakhiri doa. Tahlil berlangsung sangat singkat dan padat.
Karena penasaran, beberapa hari kemudian santri datang lagi menemui Kiai Kholil Bangkalan. Dia kemudian mengutarakan isi hatinya.
"Kiai, saya kan sudah menyembelih sapi, masak tahlil hanya tiga kali?" tanya santri tersebut.