Gubernur DKI Jakarta Wiyogo Atmodarminto saat itu meresmikan Terminal Kampung Rambutan sebagai pengganti terminal bus antarkota di Cililitan.
Saat itu terminal di Cililitan mulai padat oleh pengguna moda bus antarkota dalam provinsi. Namun, tak lama terminal itu diubah menjadi sebuah bangunan pusat perbelanjaan.
Pada tahun 1992, Pemerintah Provinsi DKI Jakarta membangun terminal ini menjadi lebih besar dengan menambahkan berbagai fasilitas seperti tempat penjualan tiket, toilet, kantin, dan beberapa ruko untuk usaha mikro dan kecil.
Seiring dengan perkembangan transportasi di Jakarta, Terminal Rambutan terus melakukan berbagai peningkatan fasilitas. Pada tahun 2011, terminal ini mengalami renovasi besar-besaran yang meliputi penambahan gedung parkir, peningkatan fasilitas keamanan, dan perbaikan infrastruktur lainnya.
Hingga saat ini, Terminal Rambutan masih beroperasi sebagai salah satu terminal bus yang sibuk di Jakarta Timur.