Es besteht kein Zweifel, dass Dickens in Ternan verliebt war. Er schrieb ihr leidenschaftliche Briefe, die explizite sexuelle Anspielungen enthielten. In einem Brief schrieb er, dass er sich danach sehnte, „diesen reifen roten Mund zu schmecken … ihren üppigen Körper zu verschlingen“.
Das Ausmaß ihrer körperlichen Beziehung ist jedoch unbekannt. Einige Biographen glauben, dass sie nie wirklich Sex hatten, während andere glauben, dass dies der Fall war.
Klar ist, dass die Beziehung schließlich zu einer Belastung für Dickens wurde. Er hatte ein schlechtes Gewissen, weil er seine Frau betrogen hatte, und er hatte Angst vor einem öffentlichen Skandal.
1858 beendete Dickens die Affäre und schickte Ternan ins Ausland nach Frankreich. Einige Jahre später kehrte sie nach England zurück, sah Dickens jedoch nie wieder.
Ternan selbst sprach nie öffentlich über ihre Beziehung zu Dickens. Einer ihrer Verwandten zufolge nahm sie es „mit ins Grab“.
Auch wenn die genauen Einzelheiten ihrer Beziehung nie bekannt werden, besteht kein Zweifel daran, dass die Romanze zwischen Charles Dickens und Ellen Ternan bedeutsam und letztendlich tragisch war.