Pada 1973, Hilmi terbang ke Arab Saudi untuk belajar di Fakultas Syariah Universitas Islam di Madinah. Selama enam tahun di Saudi, dia akrab dengan Yusuf Supendi yang juga merupakan tokoh perintis PKS. Kala itu Yusuf sedang berkuliah di Universitas Imam Muhammad Ibnu Saud, Riyadh.
Pada 1998, Hilmi bersama beberapa rekannya mendirikan Partai Keadilan (PK). Pada 2002, partai tersebut bertransformasi menjadi Partai Keadilan Sejahtera. Hilmi didaulat sebagai Ketua Dewan Syura yang merupakan lembaga tertinggi di PKS.
Ketika itu dia mengungguli tiga calon lainnya yakni Salim Segaf Al-Jufri (12 suara), Surahman Hidayat (8) dan Abdul Hasib Hasan (1). Pada 2010 dia kembali terpilih untuk menempati jabatan tersebut.