Connery werd in 1930 geboren in Edinburgh, Schotland. Zijn vader was fabrieksarbeider en zijn moeder was huishoudelijk schoonmaakster. Connery verliet de school op 13-jarige leeftijd en begon te werken als melkboer. Later trad hij in dienst bij de Royal Navy, waar hij drie jaar diende.
Connery's acteercarrière begon in het begin van de jaren vijftig, toen hij in een aantal kleine rollen in Britse films verscheen. Zijn grote doorbraak kwam in 1962, toen hij werd gecast als James Bond in de film Dr. No. De film was een groot succes en Connery werd al snel een van de populairste acteurs ter wereld.
Connery bleef James Bond spelen in nog zes films, waaronder From Russia with Love (1963), Goldfinger (1964), Thunderball (1965), You Only Live Twice (1967), Diamonds Are Forever (1971) en Never Say Never Again. (1983). Hij speelde ook in een aantal andere succesvolle films in de jaren zestig en zeventig, waaronder The Great Escape (1963), Murder on the Orient Express (1974) en The Man Who Would Be King (1975).
In de jaren tachtig begon Connery's carrière achteruit te gaan. Hij speelde in een aantal slecht ontvangen films, waaronder Outland (1981), Never Say Never Again (1983) en The League of Extraordinary Gentlemen (2003). Hij kreeg echter wel lovende kritieken voor zijn rollen in The Untouchables (1987), Indiana Jones and the Last Crusade (1989) en The Rock (1996).
Connery stopte met acteren in 2006. Hij heeft talloze prijzen ontvangen voor zijn werk, waaronder een Academy Award, twee BAFTA Awards en drie Golden Globe Awards. In 2000 werd hij ook geridderd door koningin Elizabeth II.