Setelah keluar NOI, dia pergi ke Makkah, Arab Saudi, dan kembali membawa pemikiran baru serta mendirikan organisasi sendiri. Pemikiran Malcolm X tentang orang kulit putih bukan musuh namun harus dirangkul menimbulkan pro-kontra di kalangan aktivis dan warga AS.
Puncaknya pada 21 Februari 1965 di usia 39 tahun, dia dibunuh saat menyampaikan pidato di acara Organisasi Persatuan Afro-Amerika, di Audubon Ballroom, Manhattan. Dia bersama anggota lainnya bersiap menyampaikan pidato saat terjadi keributan pada acara yang dihadiri sekitar 400 orang itu.
Seseorang berdiri dari kursi sambil berteriak, “Hei Negro, keluarkan tanganmu dari saku!” lalu dalam sekejap dia menembak Malcolm X menggunakan senapan sawed-off berlaras ganda yang mengenai dada.
Belum cukup sampai di situ, dua orang lainnya naik ke atas panggung dan menembak Malcolm tepat di kepala disaksikan 400 orang, termasuk keluarga.
Malcolm dinyatakan meninggal pada pukul 15.30 waktu setempat setelah ditembak lima kali.
Aziz, Khalil, dan satu orang lainya, Mujahid Abdul Halim yang juga dikenal sebagai Talmadge Hayer dan Thomas Hagan, dijatuhi hukuman penjara seumur hidup pada Maret 1966.
Hagan mengakui sebagai salah satu dari tiga pria yang menembak Malcolm X, namun dia bersaksi Aziz dan Khalil tidak terlibat. Keduanya, yang kemudian dikenal sebagai Norman 3X Butler dan Thomas 15X Johnson, menyatakan tidak bersalah sambil menyampaikan alibi pada persidangan 1966. Tidak ada bukti fisik yang menghubungkan mereka dengan kejahatan tersebut.