Ellison mendapatkan pekerjaan sebagai programmer di Ampex Corporation. Salah satu tugasnya adalah membangun database CIA. Namun pada 1977, dia dan dua rekannya memutuskan keluar dari Ampex untuk membangun perusahaan manajamen basis data sendiri.
Pelanggan pertama Oracle saat itu adalah CIA. Produk mereka, Oracle Version 2 pun menjadi database paling populer yang pernah dijual.
Dia sukses memimpin raksasa perangkat lunak tersebut. Bahkan Ellison pernah menjadi CEO dengan bayaran termahal di Amerika Serikat (AS) sebelum mengundurkan diri sebagai CEO pada 2014.
Meski sukses dan menjadi konglomerat, Ellison mengaku, menjadi orang kaya bukan tujuannya. Adapun tujuannya mendirikan Oracle lantaran ingin membangun perusahaan dengan lingkungan yang nyaman, sehingga bisa menikmati menjalankan pekerjaan.
"Itu adalah tujuan utama saya. Tentu, saya ingin mencari nafkah. Saya tentu tidak pernah berharap menjadi kaya, tentu saja tidak sekaya ini," ujarnya.
Dia menyatakan tidak percaya bisa sampai pada level saat ini. Meski tak lagi menjabat CEO, namun Ellison tetap sebagai ketua dan CTO di perusahaan tersebut hingga kini.
Saham Oracle menghasilkan sekitar 75 persen dari kekayaannya. Selain saham Oracle, Ellison juga merupakan salah satu pemegang saham individu terbesar Tesla, dengan lebih dari 11 miliar dolar AS diinvestasikan di perusahaan tersebut.
Ellison punya banyak koleksi mobil dan jet pribadi, serta memiliki tim berlayar. Portofolio real estatnya yang luar biasa mencakup klub golf pribadi di Rancho Mirage, California; sebuah rumah senilai 70 juta dolar AS di Silicon Valley; rumah musim panas bekas keluarga Astor di Newport, Rhode Island; vila taman bersejarah di Kyoto, Jepang; dan seluruh pulau Lanai di Hawaii yang dibeli pada 2012 seharga 300 juta dolar AS.