Obwohl seine Familie seit Generationen in Amerika lebte, war sie letztlich englischer Abstammung. Sein Vater, Joseph Allen, wurde in Connecticut geboren, sein Großvater war jedoch aus England nach Amerika gekommen.
Während Allens Familie und sein Leben eng mit den amerikanischen Kolonien verbunden waren, bleibt seine Abstammung fest in England verwurzelt.