Hirt werd geboren in New Orleans, Louisiana, als zoon van een muzikant-vader en een huisvrouw-moeder. Hij begon op zesjarige leeftijd trompet te spelen en tegen de tijd dat hij op de middelbare school zat, speelde hij professioneel in plaatselijke clubs. Na tijdens de Tweede Wereldoorlog bij de Amerikaanse marine te hebben gediend, keerde Hirt terug naar New Orleans en hervatte zijn muziekcarrière.
In 1950 sloot Hirt zich aan bij de band van trompettist Louis Prima en toerde hij een aantal jaren met Prima. In 1957 verliet Hirt de band van Prima en vormde zijn eigen groep. Hij werd al snel een van de populairste jazztrompettisten ter wereld en nam een aantal hitalbums op.
Naast zijn muziekcarrière was Hirt ook een succesvolle televisiepersoonlijkheid. Hij presenteerde zijn eigen variétéshow, "The Al Hirt Show", van 1964 tot 1968. Hij verscheen ook in tal van andere televisieshows, waaronder "The Tonight Show Starring Johnny Carson", "The Ed Sullivan Show" en "The Merv Griffin". Show."
Hirt stierf in 1999 in New Orleans aan kanker. Hij was 76 jaar oud.