Het lijdt geen twijfel dat Dickens verliefd was op Ternan. Hij schreef haar gepassioneerde brieven met expliciete seksuele verwijzingen. In één brief schreef hij dat hij ernaar verlangde "die rijpe rode mond te proeven... [haar] weelderige lichaam te verslinden."
De omvang van hun fysieke relatie is echter onbekend. Sommige biografen geloven dat ze nooit daadwerkelijk seks hebben gehad, terwijl anderen geloven dat dit wel het geval was.
Wat wel duidelijk is, is dat de relatie uiteindelijk een last voor Dickens werd. Hij voelde zich schuldig omdat hij zijn vrouw had bedrogen, en hij maakte zich zorgen over een publiek schandaal.
In 1858 beëindigde Dickens de affaire en stuurde Ternan naar Frankrijk. Ze keerde een paar jaar later terug naar Engeland, maar zag Dickens nooit meer.
Ternan heeft zelf nooit publiekelijk gesproken over haar relatie met Dickens. Volgens een van haar familieleden 'nam ze het mee naar haar graf'.
Hoewel de specifieke details van hun relatie misschien nooit bekend zullen worden, bestaat er geen twijfel over dat de romance tussen Charles Dickens en Ellen Ternan belangrijk en uiteindelijk tragisch was.