Di PKS, Anis menjabat sekjen selama tiga periode, yakni dari kurun 2003 hingga 2013. Setelah itu Anis diangkat sebagai Presiden PKS pada 2013 hingga 2015.
Anis juga pernah menjadi anggota DPR pada periode 2004-2009 dan 2009-2014 dari daerah pemilihan Sulawesi Selatan I. Pada periode kedua, Anis menjabat sebagai Wakil Ketua DPR sampai mengundurkan diri terkait dengan jabatan barunya sebagai presiden PKS.
Selain sebagai politikus, Anis juga dikenal sebagai pebisnis. Dia pernah menjabat komisaris PT Indo Media Green Pages, presiden komisaris di PT Manara Inti Tijara, dan juga dosen agama Islam di Fakultas Ekonomi Universitas Indonesia Program Extension.