Karierę filmową Scheider rozpoczął w latach 50-tych. Jego debiut kinowy to rola w horrorze "The Curse of the Living Corpse" z 1964 roku. Role, które przyniosły mu największą popularność przyszły już kilka lat później. Były to drugoplanowa kreacja w słynnym "Francuskim łączniku" (za którą otrzymał pierwszą w karierze nominację do Oscara dla najlepszego aktora drugoplanowego). Kolejny wielki sukces aktora to obraz "Cały ten zgiełk" z 1979 roku (za główną rolę w tym filmie ponownie został nominowany do Oscara, tym razem w kategorii: Najlepszy Aktor).