Joel Chandler Harris' vrouw was Estelle La Rose Harris. Ze trouwden in 1871 en kregen één kind, Julian Harris.