Pada 1924, ia masuk ke STOVIA (School ter Opleiding voor Indiesche Arts ) yaitu sekolah untuk mendidik dokter pribumi di Jakarta. Hal ini sesuai dengan cita-citanya untuk menjadi dokter. Pada 1927, setelah selesai pendidikan di bagian persiapan STOVIA, Roem melanjutkan ke AMS (Algemene Middelbare Scool). Lulus AMS pada 1930, Roem masuk Sekolah Tinggi Kedokteran GHS (Geneeskundige Hoge School) di Jakarta.
Karena dua kali ujian selalu gagal, Roem berhenti belajar di GHS dan beristirahat selama dua tahun. Pada 1932, Roem pindah haluan ke ilmu hukum. Ia masuk RHS (Recht Hooge School) dan meraih gelar Mester in the Rechten.
Nama Mohammad Roem dikenal sebagai diplomat ulung yang pernah dimiliki Indonesia. Kepiawaiannya berdiplomasi, membuat Roem kerap ditunjuk sebagai perwakilan Indonesia saat berunding dengan Belanda.
Banyak upaya diplomasi yang pernah dia lakukan, di antaranya menjadi ketua delegasi di perundingan Roem-Royen, anggota delegasi RI dalam perundingan Linggarjati, dan anggota delegasi RI dalam perundingan Renville.
Dalam perundingan-perundingan tersebut, Mohammad Roem selalu mengupayakan hak-hak Indonesia, termasuk menghimpun dukungan dari negara-negara lain atas kemerdekaan yang telah diproklamirkan Indonesia. Ia benar-benar memikul beban tugas yang dipercayakan kepadanya sebagai seorang diplomat.
Berkat kemampuannya, di masa kepemimpinan Presiden Soekarno, Mohammad Roem dipercaya menjabat posisi di pemerintahan. Roem pernah menjadi sebagai menteri dalam negeri (1946-1947), menteri luar negeri (1950-1951), dan wakil perdana menteri (1956-1957).