Dickens ontmoette Ellen Ternan in 1857, toen ze nog maar 18 jaar oud was en hij 45. Ternan was een toneelactrice en Dickens was meteen verliefd op haar. Ze begonnen een geheime affaire, die meerdere jaren duurde.
Dickens en Ternan waren erg verliefd, en ze waren van plan te trouwen nadat Dickens van zijn vrouw Catherine was gescheiden. De vrouw van Dickens weigerde hem echter te scheiden, en daarom konden hij en Ternan nooit openlijk samen zijn.
In 1865 kregen Dickens en Ternan samen een kind, een zoon genaamd Charles. Dickens was dolgelukkig weer vader te worden, en hij was dol op zijn zoon. Zijn vrouw hoorde echter van het kind en ze was woedend. Ze dreigde de affaire aan het publiek bekend te maken, en Dickens werd gedwongen het uit te maken met Ternan.
Dickens en Ternan hebben elkaar na 1865 nooit meer gezien. Dickens stierf in 1870 en Ternan leefde tot 1914. Ze is nooit getrouwd en heeft nooit andere kinderen gekregen.