Joachim was een wonderkind en debuteerde op zevenjarige leeftijd. Hij studeerde bij Stanisław Serwaczyński en later bij Ferdinand David aan het conservatorium van Leipzig. Ook studeerde hij compositie bij Moritz Hauptmann.
Joachims carrière als solist bracht hem door heel Europa en hij trad op met veel van de toonaangevende orkesten van die tijd. Hij was ook kamermuzikant en trad op met veel van de belangrijkste musici van zijn tijd, waaronder Clara Schumann, Johannes Brahms en Joseph Hellmesberger, Sr.
Joachim was ook een toegewijd leraar en gaf van 1869 tot 1907 les aan het Weense conservatorium. Hij was ook de oprichter van het Joachim Kwartet, een van de meest gerenommeerde strijkkwartetten van die tijd.
Joachim had een grote invloed op de ontwikkeling van het vioolspel, en zijn lessen hebben een diepgaande impact gehad op violisten over de hele wereld. Hij wordt beschouwd als een van de grootste violisten aller tijden, en zijn nalatenschap blijft tot op de dag van vandaag muzikanten inspireren en opleiden.