Hoewel het lied zeker verschillende historische namen en gebeurtenissen vermeldt uit het tijdperk na de Tweede Wereldoorlog, toen Joel volwassen werd, staat er bovendien nooit dat het 'niet hun wereld is die we hebben vernietigd'. Deze regel komt eerder voor in R.E.M's It's The End Of The World As We Know It, een latere single die zes jaar na We Didn't Start the Fire werd uitgebracht door de alternatieve rockband uit Athene.