Robert Downey Jr. is getrouwd met Susan Downey (née Levin) sinds 2005. Zij is filmproducent (Gothika, The Book of Eli, Sherlock Holmes-films). Ze hebben twee kinderen samen. Hij dateert niemand.