Karena kilang minyaknya, Balikpapan menjadi rebutan para pihak yang saling berhadapan dalam Perang Dunia II, di Kota Minyak lazim ditemukan amunisi sisa perang tersebut.
Bahkan juga ada persenjataan berat seperti meriam, yang moncongnya hingga kini masih mengarah ke Teluk Balikpapan dari sarangnya di perbukitan di Balikpapan Barat.
Di kawasan perbukitan Markoni juga ada meriam serupa yang ditemukan oleh para pekerja bangunan yang sedang menggali untuk pondasi bangunan.
Di kawasan Pasir Ridge atau Gunung Pasir, ada bangkai tank Mathilda, tank persenjataan tentara Australia yang kini jadi monumen.
Jepang juga membangun sejumlah kubu dari beton di sepanjang pantai, yang sisa-sisanya masih bisa dilihat di Pantai Manggar.
Dalam sejarah Perang Dunia II, di Balikpapan direbut Jepang dari Belanda pada tahun 1942 nyaris tanpa perlawanan berarti. Namun sebaliknya, begitu Sekutu ingin merebut Balikpapan, mereka menghadapi pertahanan dan perlawanan habis-habisan.