Jazzimprovisatie is het proces van spontane compositie. Traditionele compositie wordt gedaan door de muziek op te schrijven in een partituur, om later uitgevoerd te worden door de componist of andere muzikanten. Dit type compositie gebeurt ook in jazz, maar jazz is meer bekend om de verrassingen en spanning van live improvisatie. De twee compositietypes worden meestal gecombineerd. Een jazzklassieker als Thelonious Monk's ''Round Midnight' wordt door een groep gespeeld, die het nummer allemaal kent, en daarna wordt de basismelodie uitgebreid en geïmproviseerd door elke musicus op zijn beurt.
In de vroege 20e eeuw ontstond jazz uit de stijlen van ragtime, dixieland, boogie-woogie en rhythm and blues. De losheid en nadruk op creativiteit van al deze stijlen droegen bij aan de nadruk op improvisatie in jazz. Het kan ook gezien worden als een instrumentale uiting van de call-and-response dynamiek in oude werkliederen.
Sommige jazzstijlen staan bekend om improvisatie. Swing en big band muziek gebruiken solo's en improvisatie, maar worden meer als dansmuziek gezien. Bebop is vooral bekend om de improviserende genialiteit van muzikanten als Dizzy Gillespie, Charlie 'Bird' Parker en Bud Powell. Grote post-bop improvisatoren zijn figuren als Miles Davis, John Coltrane en Bill Evans.
De structuur van improvisatie is gebaseerd op de uitwerking van akkoordvoortgangen. In een kwartet spelen bas en piano de basismelodie terwijl de saxofonist of trompetist improviseert erboven. De soloist beweegt door dezelfde akkoorden maar op een geïmproviseerde manier die compatibel is met, in plaats van een directe uitdrukking van, de basale akkoordvoortgang. Een andere benadering is gebaseerd op modale schalen in plaats van akkoorden, zoals op Miles Davis' beroemde album Kind of Blue (1959).
Scatzang is een subgenre van jazzimprovisatie, waarbij een zanger zinloze klanken zingt in plaats van woorden. Dit stelt zowel zanger als publiek in staat om zich meer op het ritme en gevoel van de improvisatie te richten dan op de verhaallijn. Louis Armstrong en Ella Fitzgerald waren twee grote popularisatoren van scatzang.
In de jaren 50 en 60 ontwikkelde jazz zich naar nieuwe gebieden als free jazz en fusion. Free jazz, geëpitopeerd door innovators als Ornette Coleman, Cecil Taylor en Sun Ra, voert de vorm naar en soms voorbij haar logische grenzen, vaak met dissonantie, moeilijke ritmes en atonaliteit zoals saxofonkreten. Fusion, gepopulariseerd in de late jaren 60 door Miles Davis, brengt de voorspelbare ritmische patronen en elektronische instrumenten van andere vormen zoals rock en funk, maar behoudt de interne ruimte voor improvisatie.