De naam dateert terug naar de Sinckhanne (of Esopus) stam, Algonquiaansprekende mensen die oorspronkelijk het gebied langs de Hudson River bewoonden. Hun woord 'sinck' (ook weergegeven als 'sink') betekende 'steen' of 'vlint'—waarschijnlijk verwijzend naar het rotsachtige terrein of de steengroevebronnen.
Toen de gevangenis in 1824 geautoriseerd werd en in 1826 opende, werd de naam 'Sing Sing' toegepast op zowel de faciliteit als het omliggende dorp (later hernoemd naar Ossining in 1901 om de stad van de gevangenis' notorieté te distantiëren). De naam heeft zich bijna twee eeuwen gehouden, wordt synoniem met het Amerikaanse penitentiaire systeem zelf.