Johnson wurde in Canton, South Dakota, geboren und wuchs auf einer Farm auf. Er schloss 1982 sein Studium der Politikwissenschaft an der University of South Dakota ab. Nachdem er mehrere Jahre als Rechtsberater gearbeitet hatte, wurde er 1986 in das Repräsentantenhaus von South Dakota gewählt. Er war sechs Jahre lang im Repräsentantenhaus tätig, davon zwei Jahre als Sprecher.
1996 wurde Johnson in den US-Senat gewählt und besiegte den amtierenden Republikaner Larry Pressler. Er wurde 2002 für eine zweite Amtszeit und 2008 für eine dritte Amtszeit wiedergewählt.
Johnson war für seine gemäßigten politischen Ansichten und seine Bereitschaft bekannt, sowohl mit Republikanern als auch mit Demokraten zusammenzuarbeiten. Er war auch ein starker Befürworter der Landwirtschaft und der ländlichen Entwicklung.
Im Jahr 2014 gab Johnson bekannt, dass er keine vierte Amtszeit im Senat anstreben werde. Als Grund für seine Entscheidung nannte er gesundheitliche Probleme, darunter einen Schlaganfall, den er 2006 erlitten hatte.
Johnson verließ den Senat im Jahr 2015. Er ist jetzt im Ruhestand und lebt in Vermillion, South Dakota.