Diketahui, setelah tamat Sekolah Hakim dan Jaksa Negara (SHDN) tahun 1963-1964, Arsyad diangkat sebagai Pengatur Hukum di Pengadilan Negeri (PN) Donggala, Sulawesi Tengah pada 1965. Karier Arsyad terus meningkat saat menjabat sebagai Panitera Pengganti pada Pengadilan Tinggi Makassar pada 1969-1970.
Perjalanan karirnya sebagai hakim diawali dengan menjadi Hakim pada PN Bantaeng (1970-1971), Hakim pada PN Makassar (1971-1981), Hakim pada PN Jakarta Utara (1981-1988), dan Hakim pada PN Surabaya (1988-1992).
Kemudian, Arsyad dipercaya menjadi Ketua PN Sungguminasa pada 1992-1994. Setelah itu, dilanjutkan sebagai Hakim pada PN Bandung tahun 1994-1997, Ketua PN Bogor (1997-1998), dan Ketua PN Surabaya (1998-2001). Pada pertengahan Maret 2001, Arsyad ditugaskan sebagai Hakim Tinggi pada Pengadilan Tinggi Jawa Barat.
Selanjutnya, dipromosikan sebagai Wakil Ketua Pengadilan Tinggi Kendari pada 2004. Di tahun yang sama, dia dipromosikan sebagai Ketua Pengadilan Tinggi Kendari. Pada 2006, Arsyad kembali dipromosikan sebagai Ketua Pengadilan Tinggi Makassar.
Pada 29 Mei 2008, Arsyad resmi menjadi Hakim Konstitusi usulan dari lembaga yudikatif, yakni Mahkamah Agung (MA). Arsyad kemudian mengundurkan diri akibat pelanggaran kode etik sekitar awal 2011. Posisi Arsyad pun digantikan oleh Anwar Usman. Anwar tercatat menjadi Hakim Konstitusi sejak mengucapkan sumpah jabatan pada 6 April 2011 silam.