Abu Bakar mendapat dukungan dari banyak orang berpengaruh; salah satu dari orang-orang tersebut adalah Umar bin Khattab, sahabat Nabi Muhammad, yang dikenal karena sifatnya yang berapi-api dan pendiriannya yang teguh terhadap keadilan. Abu Bakar lebih memilih dia sebagai penerusnya dan menjadi khalifah berikutnya.
Selama sepuluh tahun pemerintahannya, Umar mempertahankan kekuasaannya dengan ketat. Ia memperkenalkan diwan, yang merupakan sebuah birokrasi primitif untuk bertanggung jawab membayar gaji dan pensiun para prajurit.
Umar juga melindungi penduduk lokal yang baru ditaklukkan dari penjarahan yang dilakukan oleh pasukannya dengan memisahkan angkatan bersenjata dari penduduk lainnya di kota-kota garnisun seperti Fustat di Mesir; dan Kufah dan Basra di Irak. Ia memperkenalkan banyak reformasi dan institusi yang belum pernah dialami oleh orang-orang Arab sebelumnya, seperti kepolisian, pengadilan, dan parlemen, dan bahkan memperkenalkan kalender Islam atau Hijriah.
Namun dari semua kualitas yang dimilikinya, tidak ada yang lebih terpuji selain kesalehan dan kecintaannya pada keadilan, yang membuatnya mendapatkan gelar Faruq atau orang yang bisa membedakan mana yang benar dan mana yang salah. Lalu pada tahun 661 M, Umar dibunuh, sebagai tindakan balas dendam, oleh seorang budak Persia bernama Lu'lu pada tahun 634 M, yang dipermalukan oleh kekalahan Persia.
Di saat nafas terakhirnya, Umar menunjuk sebuah komite yang terdiri dari enam anggota untuk memilih penggantinya. Mereka mempersempit pilihan menjadi dua orang, yakni Utsman bin Affan dan Ali bin Abi Thalib.