Costello werd geboren in Paterson, New Jersey, als zoon van Italiaanse immigranten. Hij begon zijn carrière in de showbusiness als tiener en trad op in vaudeville en burlesque. Hij ontmoette Bud Abbott in 1936, en de twee vormden een komedieteam. Ze werden al snel een van de populairste comedy-acts ter wereld en traden op in nachtclubs, op de radio en in films.
De komedie van Abbott en Costello werd gekenmerkt door hun slapstickroutines en Costello's hoge stem en overdreven gezichtsuitdrukkingen. Ze verschenen samen in in totaal 36 films, waaronder "One Night in the Tropics" (1940), "Buck Privates" (1941) en "Abbott and Costello Meet Frankenstein" (1948).
Costello's gezondheid begon begin jaren vijftig achteruit te gaan en hij onderging verschillende hartoperaties. Hij stierf aan een hartaanval in 1959 op 52-jarige leeftijd.
Ondanks zijn vroegtijdige dood wordt Costello beschouwd als een van de meest invloedrijke komieken van de 20e eeuw. Zijn werk met Bud Abbott hielp het komediegenre te definiëren en inspireerde talloze andere komieken.