Abu Ubaidah termasuk dalam generasi pertama yang memeluk Islam. Ia memeluk Islam sebelum pertemuan di Darul Arqam.
Abu Ubaidah juga ikut hijrah ke Habasyah, meskipun ia tidak tinggal di sana untuk waktu yang lama.
Setelah sampai di Madinah, Rasulullah shallallahu 'alaihi wa sallam menjadikan Abu Ubaidah sebagai saudara sepersusuan dengan Sa'ad bin Muadz, menurut versi lain dengan Muhammad bin Maslamah.
Pada usia 41 tahun, Abu Ubaidah terlibat dalam Pertempuran Badar. Ia juga turut serta dalam Pertempuran Uhud, di mana dua gigi depannya copot. Meskipun demikian, penampilannya menjadi lebih baik. Gigi-giginya copot karena ia mencabut dua rantai yang menyangkut di wajah Rasulullah shallallahu 'alaihi wa sallam akibat terkena tebasan.
Abu Ubaidah tidak pernah absen dalam pertempuran-pertempuran penting lainnya bersama Rasulullah shallallahu 'alaihi wa sallam, dan ia juga termasuk di antara mereka yang menghafal Al-Qur'an yang agung (Al-Qur'an Al-'Azhim).
Itulah penjelasan 10 sahabat nabi yang dijamin masuk surga.