Nat King Cole trouwde op 25 december 1936 in Chicago met Maria Ellington, tijdens het hoogtepunt van zijn eerste heropleving van zijn carrière. Ze waren twintig jaar gelukkig getrouwd en adopteerden vijf kinderen; Nat Kelly Cole (1937), Gary Nathaniel Cole (1939), Errol Louis Cole (april 1941), en twee meisjes Carol "Cookie" Cole (1944) en Maria Cole (1947). Hun zoon Nat Kelly Cole werd een beroemde zanger, songwriter en acteur.
Op 28 december 1956 stierf Maria Cole onverwachts op 45-jarige leeftijd aan longkanker, waardoor Nat diep verwoest en diepbedroefd achterbleef. Hij was weduwnaar totdat hij op 8 juli 1965 met zangeres Maria Hawkins trouwde. Ze bleven samen tot het vroegtijdige overlijden van Nat King Cole in 1965.
Controverse over vaderschap
In de jaren negentig meldde zich een vrouw genaamd Lorna Coles, die beweerde de dochter van Nat King Cole te zijn na een korte affaire die hij met haar moeder had in 1947. DNA-testen bevestigden dat Lorna Coles inderdaad het biologische kind was van Nat King Cole.