Nat King Cole heiratete Maria Ellington am 25. Dezember 1936 in Chicago, auf dem Höhepunkt seines ersten beruflichen Wiederaufstiegs. Sie waren 20 Jahre lang glücklich verheiratet und adoptierten fünf Kinder; Nat Kelly Cole (1937), Gary Nathaniel Cole (1939), Errol Louis Cole (April 1941) und zwei Mädchen, Carol „Cookie“ Cole (1944) und Maria Cole (1947). Ihr Sohn Nat Kelly Cole wurde später ein berühmter Sänger, Songwriter und Schauspieler.
Am 28. Dezember 1956 starb Maria Cole im Alter von 45 Jahren unerwartet an Lungenkrebs, was Nat zutiefst am Boden zerstört und mit gebrochenem Herzen zurückließ. Er war Witwer, bis er am 8. Juli 1965 die Sängerin Maria Hawkins heiratete. Sie blieben bis zum frühen Tod von Nat King Cole im Jahr 1965 zusammen.
Vaterschaftsstreit
In den 1990er Jahren meldete sich eine Frau namens Lorna Coles und behauptete, Nat King Coles Tochter aus einer kurzen Affäre mit ihrer Mutter im Jahr 1947 zu sein. DNA-Tests bestätigten, dass Lorna Coles tatsächlich das leibliche Kind von Nat King Cole war.