Uwielbia grać czarne charaktery, ale jego bohaterowie muszą mieć pewną klasę i umiar. Jest synem handlarza ryb i sprzątaczki, dlatego niektórzy uważają go za sprytnego cockney'a, który znalazł się we właściwym czasie na właściwym miejscu. W młodości podejmował się najróżniejszych zajęć. Brał udział w wojnie w Korei, służył w Niemczech. Od najmłodszych lat pragnął zostać aktorem. Jeszcze w szkole założył koło teatralne. Następnie pracował w prowincjonalnym teatrze. Przełomowym momentem stał się występ u boku Petera O'Toole w sztuce "The Long, Short, Tall" (1959). W połowie lat 60. miał za sobą występ w ponad 130 przedstawieniach i filmach telewizyjnych.

Na dużym ekranie debiutował w 1956 r. w filmie wojennym "A Hill in Korea" Juliana Amyesa. Po kilkunastu rolach drugoplanowych, m.in. w "Zulu" (1964) Cy Endfielda, Caine wystąpił, po raz pierwszy jako w głównej roli, w "Aktach Icepress" (1965) Sidneya J. Furie. Wykreowany przez niego Harry Palmer to swoisty konkurent Jamesa Bonda. W "Alfie" Lewisa Gilberta, kasowym sukcesie roku 1966, aktor zagrał playboya, który pragnie zmienić kawalerski stan. Za rolę Alfie Elkinsa otrzymał pierwszą nominację do Oscara, Złotego Globu i nagrody Brytyjskiej Akademii Filmowej.

Lata 70. rozpoczął występując jako dowódca najemników w "Ostatniej dolinie" (1970) Jamesa Clavella. W roli właściciela salonów fryzjerskich, Milo Tindle w kryminale "Detektyw" (1972) Josepha L. Mankiewicza, wzbudził zachwyt samego Laurence Oliviera, który w filmie zagrał właściciela ziemskiego. W "Romantycznej Angielce" (1975) Josepha Loseya, wcielił się w pisarza. Jedną z najdoskonalszych ról stworzył w "Człowieku, który chciał zostać królem" (1976) Johna Hustona. W "Suicie kalifornijskiej" (1978) Herberta Rossa, zagrał homoseksualistę. Jako profesor Frank Bryant w "Edukacji Rity" (1983) Lewisa Gilberta, stworzył portret człowieka dążącego do autodestrukcji.

Pierwszego Oscara i Złoty Glob otrzymał za rolę Elliota w "Hannah i jej siostry" (1986) Woody Allena. Kolejną nagrodę Amerykanskiej Akademii Filmowej otrzymał w 2000 r. za występ w filmie "Wbrew regułom" (1999) Lasse Hallströma. W międzyczasie bardzo ciekawe kreacje stworzył w "Krwi i winie" (1996) Boba Rafelsona i "O mały głos" (1998) Marka Hermana.

W 1992 r. wydał autobiografię zatytułowaną "What's It all About?". Ma własną firmę producentką. Jest właścicielem siedmiu restauracji (sześć w Londynie i jedna w Miami). W 2000 r. otrzymał z rąk królowej Elżbiety II tytuł szlachecki. Mieszka w Los Angeles z drugą żoną Shakirą Caine i córką Natashą. Ma także córkę Dominique (aka Nikki) z pierwszego małżeństwa z Patricią Haines.