Agung sejak muda sudah berminat dalam organisasi. Dia pernah menjabat Ketua Umum BPP HIPMI dan Ketua Umum DPP AMPI pada 1984–1989.
Lalu dia menjabat Sekretaris Jenderal PPK Kosgoro periode 1990–1995 dan Ketua Umum PPK Kosgoro 1957 pada tahun 2000.
Dia mulai berkarier di dunia politik pada era Orde Baru dengan bergabung Partai Golkar. Dia kemudian terpilih sebagai anggota DPR beberapa kali periode mulai tahun 1987-2009.
Pada tahun 2004, dia terpilih menjadi Ketua DPR. Dia juga sempat menjabat Menteri Pemuda Olahraga dalam Kabinet Reformasi.
Era pemerintahan Presiden Susilo Bambang Yudhoyono, dia juga pernah menjabat sebagai Menteri Koordinator Bidang Kesejahteraan Rakyat pada 2009–2014.