Seine bemerkenswerteste Arbeit war mit dem Cannonball Adderley Quintet in den 1970er Jahren, aber er hat auch mit vielen anderen namhaften Jazzmusikern zusammengearbeitet, darunter Thelonious Monk, Miles Davis, Dizzy Gillespie, Dexter Gordon und Herbie Hancock.
Zusätzlich zu seiner Arbeit als Sideman hat Poole auch mehrere Soloalben veröffentlicht, darunter „The Essence of John Poole“ (1977), „Sweet Lucy“ (1978) und „Blue Planet Man“ (1980).
Poole ist außerdem Komponist und Arrangeur und hat Musik für Film und Fernsehen geschrieben. Er unterrichtete außerdem Jazz und Latin-Percussion an der University of Southern California und dem California Institute of the Arts.
Poole wurde 2004 und 2005 von der Jazz Journalists Association als „Schlagzeuger des Jahres“ ausgezeichnet und ist außerdem Mitglied der National Academy of Recording Arts and Sciences (NARAS).