Semasa muda, Yamin aktif dalam organisasi. Dia pernah menjadi Ketua Jong Sumatranen Bond hingga Ketua Indonesia Muda. Saat sebagian kaum terpelajar lebih tertarik berbicara serta menulis dalam bahasa Belanda, Yamin memilih cara berbeda.
Diketahui, Yamin gemar menulis dalam bahasa Melayu seperti yang dilakukannya pada majalah Jong Sumatra. Yamin ingin mengangkat bahasa Melayu sebagai bahasa untuk mempersatukan keanekaragaman suku bangsa.
Menjelang Kongres Pemuda II yang kemudian menghasilkan Sumpah Pemuda, Yamin menyampaikan kecintaan pada bahasa bangsanya serta cita-cita mempersatukan beragam suku bangsa ke dalam satu negeri, satu bahasa serta satu bahasa yaitu Indonesia.
Pada rapat pertama Kongres Pemuda II yang digelar pada 27 Oktober 1928, Mohammad Yamin menyampaikan pidato “Persatuan dan Kebangsaan Indonesia”.
Menurut Yamin, persatuan dan kebangsaan Indonesia merupakan hasil kemauan sejarah panjang Nusantara. Dia menyebutnya sebagai roh Indonesia.
Pada rapat ketiga Kongres Pemuda II tanggal 28 Oktober 1928 yang berlangsung di Gedung Indonesische Clubgebouw (saat ini Museum Sumpah Pemuda), dirumuskanlah hasil rapat oleh Yamin. Setelah mendengar lagu ciptaan WR Supratman, Ketua Paniitia Kongres Pemuda II Soegondo Djojopoespito membacakan hasil rapat yang dikenal dengan ikrar Sumpah Pemuda.
Setelah Indonesia merdeka, Yamin pun masih aktif memegang jabatan penting. Dia pernah menjadi anggota KNIP (Komite Nasional Indonesia Pusat), Menteri Kehakiman pada 1951, Menteri Pengajaran, Pendidikan, dan Kebudayaan pada 1952-1955, hingga Menteri Penerangan pada 1962-1963.