Saat ini, Denny Sumargo berstatus sebagai suami Olivia Allan, yang ia persunting pada 21 November 2020. Sebelumnya, mantan pebasket ini sempat gagal menikah pada 2014 karena kekasihnya berselingkuh.
Akan tetapi, Denny Sumargo tak pernah bersedia menyebutkan identitas wanita yang diduga meninggalkannya tersebut. Pemeran film Hattrick ini kembali patah hati setelah batal menikah dengan Dita Soedarjo, yang ia kencani sejak 2018.
Selama berkarier, Densu sempat digosipkan berpacaran dengan sejumlah selebriti wanita, seperti Sandra Dewi hingga Agnez Mo. Namun, rumor itu tak pernah terbukti setelahnya.
Denny Sumargo kembali diterpa badai cobaan saat seorang wanita tiba-tiba mengaku tengah hamil anaknya pada tahun 2013 dan menuntut pertanggung jawaban darinya. Lalu tiga tahun setelahnya, ia mampu membuktikan bahwa bayi yang dikandung wanita tersebut bukan anak biologisnya.