Johnson wurde in Indianapolis, Indiana, geboren. Er begann im Alter von 11 Jahren Posaune zu spielen. Er studierte am Arthur Jordan Conservatory of Music und an der Indiana University School of Music.
Johnson zog 1942 nach New York City und entwickelte sich schnell zu einem der gefragtesten Posaunisten der Stadt. Er spielte mit Charlie Parker, Dizzy Gillespie, Bud Powell und anderen Bebop-Legenden.
In den 1950er Jahren begann Johnson, sich mit Hard Bop zu beschäftigen, einem neueren, aggressiveren Jazzstil. Mit seinen eigenen Bands nahm er mehrere einflussreiche Alben auf, darunter „The Eminent Jay Jay Johnson Volume 1“ (1954) und „Jay Jay Johnson with Clifford Brown“ (1955).
Johnson tourte und nahm in den 1960er und 1970er Jahren weiterhin auf Tour. Er unterrichtete auch am Berklee College of Music und der Manhattan School of Music.
Johnson starb 2001 in Indianapolis an einem Herzinfarkt. Er war 77 Jahre alt.
Johnson war ein Meister der Posaune. Er hatte einen einzigartigen Klang, der sofort erkennbar war. Er war auch ein begabter Improvisator und Komponist. Seine Musik hat unzählige Posaunisten auf der ganzen Welt beeinflusst.
Hier sind einige von Johnsons berühmtesten Kompositionen:
* „Klage“
* „Ezz-thetic“
* „Rätsel“
* „Sternenstaub“
* „Blauer Funk“