Wilson werd geboren op 23 juni 1947 in het Sioux Indianenreservaat in South Dakota. Hij was de zoon van een volbloed Sioux-vrouw en een Ierse vader. Wilson groeide op in het reservaat en begon op jonge leeftijd gitaar te spelen. Hij werd beïnvloed door de traditionele muziek van zijn volk, maar ook door de rock-'n-roll van de jaren vijftig en zestig.
Na de middelbare school verhuisde Wilson naar Minneapolis, Minnesota. waar hij een band vormde genaamd Sugarloaf met zijn zwager Craig Fuller en collega-singer-songwriter Michael Omartian.
De groep had enig succes en nam twee albums op voor RCA Records, voordat ze in 1971 uit elkaar gingen.
Na het uiteenvallen van Sugarloaf , Wilson verhuisde naar Los Angeles, Californië, waar hij Pure Prairie League oprichtte in 1972.
De band kreeg al snel veel aanhang en in de jaren zeventig brachten ze een aantal succesvolle albums uit.
Enkele van hun meest populaire nummers zijn "Amie" , "Gevallen engelen" , en " Laat me van je houden vanavond ".
In 1979 verliet Wilson Pure Prairie League om een solocarrière te beginnen.
Hij bracht twee soloalbums uit, "Jeff Wilson" (1981) en "Wees nooit hetzelfde" (1983), maar ze waren niet zo succesvol als zijn werk met Pure Prairie League.
Wilson bleef toeren en optreden gedurende de jaren tachtig en negentig, maar zijn gezondheid begon eind jaren tachtig achteruit te gaan. Er werd bij hem keelkanker vastgesteld en hij onderging verschillende behandelingsronden.
Op 12 december 1991 stierf Jeff Wilson op 44-jarige leeftijd aan keelkanker .
Hij werd overleefd door zijn vrouw, twee dochters en twee zonen.