Connery wurde 1930 in Edinburgh, Schottland, geboren. Sein Vater war Fabrikarbeiter und seine Mutter arbeitete als Reinigungskraft. Connery verließ die Schule im Alter von 13 Jahren und begann als Milchmann zu arbeiten. Später trat er der Royal Navy bei, wo er drei Jahre lang diente.
Connerys Schauspielkarriere begann in den frühen 1950er Jahren, als er in mehreren kleinen Rollen in britischen Filmen auftrat. Sein großer Durchbruch gelang ihm 1962, als er für die Rolle des James Bond im Film Dr. No. gecastet wurde. Der Film war ein großer Erfolg und Connery wurde schnell zu einem der beliebtesten Schauspieler der Welt.
Connery spielte weiterhin James Bond in sechs weiteren Filmen, darunter From Russia with Love (1963), Goldfinger (1964), Thunderball (1965), You Only Live Twice (1967), Diamonds Are Forever (1971) und Never Say Never Again (1983). In den 1960er und 1970er Jahren spielte er auch in einer Reihe anderer erfolgreicher Filme mit, darunter „The Great Escape“ (1963), „Murder on the Orient Express“ (1974) und „The Man Who would Be King“ (1975).
In den 1980er Jahren begann Connerys Karriere zu sinken. Er spielte in einer Reihe von schlecht aufgenommenen Filmen mit, darunter Outland (1981), Never Say Never Again (1983) und The League of Extraordinary Gentlemen (2003). Allerdings erhielt er für seine Rollen in „Die Unbestechlichen“ (1987), „Indiana Jones und der letzte Kreuzzug“ (1989) und „The Rock“ (1996) einiges Lob von der Kritik.
Connery zog sich 2006 von der Schauspielerei zurück. Für seine Arbeit erhielt er zahlreiche Auszeichnungen, darunter einen Oscar, zwei BAFTA Awards und drei Golden Globe Awards. Im Jahr 2000 wurde er auch von Königin Elizabeth II. zum Ritter geschlagen.