Zijn meest opmerkelijke werk was met het Cannonball Adderley Quintet in de jaren zeventig, maar hij heeft ook samengewerkt met vele andere opmerkelijke jazzmuzikanten, waaronder Thelonious Monk, Miles Davis, Dizzy Gillespie, Dexter Gordon en Herbie Hancock.
Naast zijn werk als sideman heeft Poole ook verschillende soloalbums uitgebracht, waaronder "The Essence of John Poole" (1977), "Sweet Lucy" (1978) en "Blue Planet Man" (1980).
Poole is ook componist en arrangeur, en hij heeft muziek geschreven voor film en televisie. Hij heeft ook jazz- en latin-percussie gedoceerd aan de University of Southern California en het California Institute of the Arts.
Poole ontving in 2004 en 2005 de prijs "Drummer van het jaar" van de Jazz Journalists Association, en hij is ook lid van de National Academy of Recording Arts and Sciences (NARAS).