Johnson werd geboren in Canton, South Dakota, en groeide op op een boerderij. Hij studeerde in 1982 af aan de Universiteit van South Dakota met een graad in politieke wetenschappen. Na een aantal jaren als wetgevend assistent te hebben gewerkt, werd hij in 1986 gekozen in het Huis van Afgevaardigden van South Dakota. Hij diende zes jaar in het Huis, waarvan twee jaar als voorzitter.
In 1996 werd Johnson gekozen in de Senaat van de Verenigde Staten, waarmee hij de zittende Republikein Larry Pressler versloeg. Hij werd herkozen voor een tweede termijn in 2002 en een derde termijn in 2008.
Johnson stond bekend om zijn gematigde politieke opvattingen en zijn bereidheid om met zowel Republikeinen als Democraten samen te werken. Hij was ook een groot voorstander van landbouw en plattelandsontwikkeling.
In 2014 kondigde Johnson aan dat hij geen vierde termijn in de Senaat zou nastreven. Hij noemde gezondheidsproblemen, waaronder een beroerte die hij in 2006 had gehad, als reden voor zijn besluit.
Johnson verliet de Senaat in 2015. Hij is nu met pensioen en woont in Vermillion, South Dakota.