Er wordt aangenomen dat de uitdrukking zijn oorsprong vindt in de Verenigde Staten in de 19e eeuw, toen sheriffs werden gekozen tot functionarissen die verantwoordelijk waren voor de wetshandhaving in hun respectievelijke provincies. Als er een nieuwe sheriff werd gekozen, schakelden ze vaak hun eigen plaatsvervangers in en brachten veranderingen aan in de manier waarop de wetshandhaving werd uitgevoerd. Dit zou kunnen leiden tot aanzienlijke veranderingen in de lokale gemeenschap, omdat de nieuwe sheriff mogelijk een andere benadering van de wetshandhaving hanteert of prioriteit geeft aan andere kwesties dan de vorige sheriff.
In de loop van de tijd werd de uitdrukking "een nieuwe sheriff in de stad" breder gebruikt om te verwijzen naar elke nieuwe persoon in een gezagspositie die veranderingen teweegbrengt of een aanzienlijke impact heeft op hun gebied. Het wordt nu algemeen gebruikt in verschillende contexten, zoals de politiek, het bedrijfsleven en de sport.