Johnson werd geboren in Indianapolis, Indiana. Hij begon op 11-jarige leeftijd trombone te spelen. Hij studeerde aan het Arthur Jordan Conservatory of Music en de Indiana University School of Music.
Johnson verhuisde in 1942 naar New York City en werd al snel een van de meest gewilde trombonisten in de stad. Hij speelde met Charlie Parker, Dizzy Gillespie, Bud Powell en andere beboplegendes.
In de jaren vijftig begon Johnson hardbop te verkennen, een nieuwere, agressievere jazzstijl. Hij nam verschillende invloedrijke albums op met zijn eigen bands, waaronder "The Eminent Jay Jay Johnson Volume 1" (1954) en "Jay Jay Johnson with Clifford Brown" (1955).
Johnson bleef gedurende de jaren zestig en zeventig toeren en opnemen. Hij gaf ook les aan het Berklee College of Music en de Manhattan School of Music.
Johnson stierf in 2001 in Indianapolis aan een hartaanval. Hij was 77 jaar oud.
Johnson was een meester op de trombone. Hij had een uniek geluid dat onmiddellijk herkenbaar was. Hij was ook een begenadigd improvisator en componist. Zijn muziek heeft talloze trombonisten over de hele wereld beïnvloed.
Hier zijn enkele van de beroemdste composities van Johnson:
* "Lament"
* "Ezz-thetisch"
* "Enigma"
* "Sterrenstof"
* "Blauwe Funk"