Terrell werd geboren in Philadelphia, Pennsylvania, en begon haar carrière als tiener, waar ze zong in verschillende lokale groepen. In 1961 tekende ze bij Motown Records en bracht haar debuut solo-single "I Can't Believe You Love Me" uit. Het nummer was een kleine hit, maar het hielp Terrell om erkenning te krijgen binnen de Motown-organisatie.
In 1964 nam Terrell het duet "Ain't No Mountain High Enough" op met Marvin Gaye. Het nummer werd een grote hit, bereikte nummer één in de Billboard Hot 100-hitlijst en won twee Grammy Awards. Terrell en Gaye bleven samenwerken en ze brachten nog een aantal succesvolle duetten uit, waaronder "Your Precious Love", "You're All I Need to Get By" en "If I Could Build My Whole World Around You".
In 1967 werd bij Terrell hersenkanker vastgesteld. Ze onderging een operatie en behandeling, maar de kanker keerde terug in 1969. Terrell stierf in Philadelphia op 16 maart 1970, op 24-jarige leeftijd.