Hoewel zijn familie al generaties lang in Amerika woonde, waren ze uiteindelijk van Engelse afkomst. Zijn vader, Joseph Allen, werd geboren in Connecticut, maar zijn grootvader was vanuit Engeland naar Amerika gekomen.
Hoewel Allens familie en leven nauw verbonden waren met de Amerikaanse koloniën, blijft zijn afkomst stevig geworteld in Engeland.