Konon katanya, Kerajaan Panai sangat kaya akan hasil hutannya, khususnya kapur barus dan ternak. Belum lagi hasil perut buminya, yakni emas. Bahkan konon ada beberapa bukti sejarah adanya pelabuhan di pantai timur dan barat, yang menjadi arus keluar masuk kekayaan alam Kerajaan Panai.
Kedua pelabuhan itu konon saling membelakangi. Letaknya satu garis yang memisahkan sumbu Sumatera secara tegak lurus. Daerah yang paling kaya dengan kamper terletak di antara keduanya, di Bukit Barisan, sebuah pegunungan memanjang yang membentang di Pulau Sumatera.
Panai juga konon berhubungan dengan daerah-daerah yang terletak di perbatasan bagian hulu Sungai Barumun, di Padanglawas. Sungai ini mengalir ke utara hingga ke pantai timur Sumatera dan bermuara di Selat Malaka.