Juga pada 1994, Khan memulai karier politiknya. Dia terpilih sebagai anggota dewan lokal di wilayah Tooting, London, dari Partai Buruh. Setelah anggota parlemen Partai Buruh setempat memutuskan untuk pensiun dari Parlemen Inggris, Khan memenangkan kompetisi untuk menggantikannya sebagai calon anggota legislatif dari partai itu. Dia pun terpilih menjadi anggota House of Commons atau Majelis Rendah Inggris pada Pemilu 2005.
Selama berkarier sebagai politikus, Khan dikenal sebagai politikus Islam yang berhaluan moderat. Dia sangat menentang cara-cara kekerasan dalam mengekspresikan pandangan keagamaan.
Posisi politik Khan yang semacam itu bukannya tanpa risiko. Dia pernah menerima ancaman pembunuhan dari kalangan ekstremis.
Kendati begitu, tak sedikit pula kelompok kanan radikal Inggris dan Barat menyerang latar belakangnya yang Muslim Pakistan. Bahkan, ketika dia memimpin London sejak 2016, para pembencinya menilai kemenangan Khan sebagai bukti ibu kota Inggris itu sudah “teracuni” oleh fenomena “Londonistan”. Julukan Londonistan sendiri bermula dari pandangan rasialis sebagian politisi Barat yang bereaksi atas pertumbuhan pesat populasi Muslim dan masjid di London sepanjang abad ke-20.
Pada Oktober 2008, Khan diangkat sebagai wakil menteri luar negeri Inggris. Setahun kemudian, dia dipromosikan menjadi menteri negara bidang transportasi.