Mereka menggembleng para santri dengan ilmu kanuragan. Selain itu, mereka juga dipersenjatai dengan bambu kuning yang telah diberi doa. Tujuannya agar mereka siap sewaktu-waktu menghadapi ninja yang datang.
Selain perlawanan fisik, para santri juga diajak untuk melakukan perlawanan batin dengan cara mengamalkan sejumlah bacaan doa selepas salat magrib dan subuh. Tujuannya, mereka terhindar dari serangan ninja yang membabi buta.
Upaya para santri ini pun diikuti oleh masyarakat. Mereka berbondong-bondong mencari bambu kuning, lalu membawanya kepada kiai yang dianggap alim untuk didoai. "Waktu itu, tetangganya saya banyak yang ikut. Saya pernah diajak, tapi tidak mau. Saya pasrah saja pada Allah," kata Ridwan menceritakan.
Ridwan mengatakan, pada perlawanan itu, ada beberapa ninja yang berhasil ditangkap warga. Mereka selanjutnya dipukuli, termasuk diseret dengan mobil dan dibakar.
Ridwan juga menceritakan, bersamaan dengan fenomena ninja, di Banyuwangi waktu itu juga mendadak banyak orang gila berkeliaran di jalan. Bahkan, banyak di antara mereka yang juga ditangkap warga dan dihakimi hingga tewas. Sebab, mereka dianggap sebagai ninja yang menyamar.