Sejak lulus dari Fakultas Ekonomi Universitas Indonesia (UI), Mahendra berkarier di Departemen Luar Negeri sebagai Economic Third Secretary Kedutaan Besar Indonesia di London (1992–1995). Kemudian menajdi duta informasi Kedutaan Besar Indonesia di Washington D.C. selama 3 tahun (1998–2001).
Mahendra juga sempat bergabung dengan Kementerian Koordinator Perekonomian pada 2001. Dia dipercaya menjadi Asisten Khusus Menteri Koordinator Perekonomian Dorodjatun Kuntjoro-Jakti pada saat itu.
Mahendra yang juga merupakan lulusan S2 Ekonomi dari Universitas Monash, Australia, ini kemudian dipercaya menjadi Deputi Menko Perekonomian Bidang Kerjasama Ekonomi dan Pembiayaan Internasional sejak 2005 hingga 2009.
Sementara di bidang perbankan, Mahendra pernah menjabat sebagai Direktur Utama Indonesia Eximbank. Dia juga pernah menjabat komisaris di sejumlah perusahaan, yakni PT Dirgantara Indonesia (2003–2008) dan PT Aneka Tambang (2008–2009).
Kemudian Mahendra ditunjuk oleh Presiden Susilo Bambang Yudhoyono menempati posisi sebagai Wakil Menteri Perdagangan mendampingi Menteri Perdagangan Mari Elka Pangestu pada periode 2009-2011. Setelah itu, dia dipercaya menempati posisi Wakil Menteri Keuangan pada 2011-2013.
Pada 1 Oktober 2013, Mahendra diberi jabatan Kepala Badan Koordinasi Penanaman Modal (BKPM) hingga 27 November 2014. Lalu pada 2018, dia ditunjuk sebagai Duta Besar untuk Amerika Serikat di Washington, DC, sebelum akhirnya menjadi Wakil Menteri Luar Negeri.