Dickens lernte Ellen Ternan 1857 kennen, als sie erst 18 Jahre alt war und er 45. Ternan war Bühnenschauspielerin und Dickens war sofort von ihr begeistert. Sie begannen eine geheime Affäre, die mehrere Jahre dauerte.
Dickens und Ternan waren sehr verliebt und planten zu heiraten, nachdem Dickens sich von seiner Frau Catherine scheiden ließ. Dickens‘ Frau weigerte sich jedoch, ihm die Scheidung zu gewähren, und so konnten er und Ternan nie öffentlich zusammen sein.
Im Jahr 1865 bekamen Dickens und Ternan gemeinsam ein Kind, einen Sohn namens Charles. Dickens war überglücklich, wieder Vater zu sein, und er liebte seinen Sohn. Seine Frau erfuhr jedoch von dem Kind und war wütend. Sie drohte, die Affäre an die Öffentlichkeit zu bringen, und Dickens war gezwungen, mit Ternan Schluss zu machen.
Dickens und Ternan sahen sich nach 1865 nie wieder. Dickens starb 1870 und Ternan lebte bis 1914. Sie heiratete nie und hatte nie weitere Kinder.