Heinrich Rudolf Klein-Rogge wurde am 24. November 1885 als Sohn eines Kriegsgerichtsrats in Köln geboren.
In Köln besucht er ein humanistisches Gymnasium, daß er mit dem Abitur beendete. Zwischenzeitlich erhielt er eine dreijährige Ausbildung in einem preußischen Kadettenkorps, nach dem Tod des Vaters.
Klein-Rogge begann ein Studium der Kunstgeschichte in Berlin und Bonn, daneben nahm er auch Schauspielunterricht bei Hans Siebert.
Am Stadttheater Halberstadt debütierte er 1909 in der Rolle des Cassius in Shakespeares Julius Cäsar.
1914 heiratete Klein-Rogge Thea von Harbou. Die Ehe wurde 1921 geschieden und von Harbou verheiratete sich mit Fritz Lang.
Klein-Rogge war mindestens dreimal verheiratet. Die Ehe mit Margarethe Neff ist nicht genau belegt. Zuletzt war er mit der schwedischen Schauspielerin Mary Johnson verheiratet.
1914/15 folgten Engagements in Aachen, Kiel und Düsseldorf. Danach wechselte Klein-Rogge an die Städtischen Bühnen in Nürnberg, wo er nicht nur als Schauspieler tätig war, sondern auch Stücke inszenierte.
1918 wechselte er auf Betreiben seiner Frau Thea von Harbou ans Lessing-Theater in Berlin, wo er ebenfalls als Schauspieler tätig war und Stücke inszenierte.
In Berlin erhoffte sich Thea von Harbou ihre Karriere vorantreiben zu können.
Es folgten ab 1919 Rollen in verschiedenen Stummfilmen.
Entgegen aller Vermutungen und Nennung seines Namens, hat Klein-Rogge nicht in dem Film Das Cabinet des Dr. Caligari (1919) von Robert Wiene mitgewirkt. Allerdings besteht die Möglichkeit, daß er in dem Film Nosferatu - Eine Symphonie des Grauens (1922) von Friedrich Wilhelm Murnau mitwirkte. Diese Vermutung ist nicht gesichert, da sein Name nicht in der Besetzungsliste auftaucht.
1920 arbeitete er erstmals unter Fritz Lang, den Thea von Harbou mit Klein-Rogge bekannt gemacht hatte. Der Regisseur nutzte Klein-Rogges gedrungene Gestalt, um ihn vor allem als zwielichtige Person zu besetzen.
So blieb er in den Lang-Filmen stets dem Rollenbild des dämonisch-brutalen Drahtziehers treu.
Die Titelrolle in Dr. Mabuse - Der Spieler (1921/22) brachte ihm den darstellerischen Durchbruch.
Danach spielte er in weiteren Filmen von Fritz Lang, so unter anderem den König Etzel in Die Nibelungen - Krimhilds Rache (1924), in Metropolis Rotwang, den Erfinder und Erschaffer des Maschinenmenschen, und in Spione (1928) Haghi.
Ein letztes Mal unter der Regie von Fritz Lang spielte er in dessen letztem Tonfilm Das Testament des Dr. Mabuse (1933) vor dessen Exil nach Paris.
Vor allem durch sein forciertes Sprechen geprägt, war diese Darstellung eine eindringliche Variation seiner stummen Rolle als Mabuse.
Der Film wurde bereits wenige Tage nach der Premiere verboten.
Klein-Rogge arbeitete 1928/29 wiederholt in Frankreich und wirkte in einem der ersten großen französischen Tonfilme Le requin mit.
Mit dem Aufkommen des Tonfilms Anfang der 30er Jahre des vergangenen Jahrhunderts wird ihm kein neues Rollenfach geboten, so daß Klein-Rogge sein Klischee des bedrohlichen, schweren Mannes variierte. Doch gab es auch seltene Abstecher ins komische Fach.
Von nun an spielte er Nebenrollen, wie es die meisten früheren Stars des Stummfilms taten.
Anfang der 40er Jahre hatte Klein-Rogge in den Filmen Das Herz der Königin und Hochzeit auf dem Bärenhof seine letzten Auftritte, bevor er sich aus dem Filmgeschäft zurückzog.
Zwar versuchte er nach dem Krieg noch einmal ins Filmgeschäft einzusteigen, doch Fritz Lang, mit dem er Kontakt aufgenommen hatte, fand keine passenden Rollen für ihn.
So arbeitete er in Graz als Theaterregisseur und inszenierte bis Anfang der 50er Jahre mehrere Stücke.
Von einem Schlaganfall erholte er sich nicht mehr.
Am 29. Mai 1955 (Pfingsten) starb Klein-Rogge weitestgehend von der Öffentlichkeit vergessen in Wetzelsdorf bei Graz und nicht, wie fälschlich angenommen wird, in Graz.

45 Jahre nach seinem Tod, im Jahr 2000, wurde Klein-Rogges Nachlaß entdeckt, der ein wahres Sammelsurium für Filmfans ist.
Der Nachlaß, den der Entdecker keinem der bekannten Filmmuseen übergeben will, wird im ersten privaten Filmmuseum zu sehen sein, daß 2007 in Thüringen eröffnet wird.
Über Klein-Rogges letzte Jahre in Wetzelsdorf berichtet die Dokumentation Rudolf Klein-Rogge - Gestorben zu Pfingsten 1955 in Wetzelsdorf und nicht in Graz (2000).

Filmographie
Stummfilme

1912
Der Film von der Königin Luise - 1. Abteilung: Die Märtyrerin auf dem Königsthron

1912/1913
Der Film von der Königin Luise - 2. Abteilung: Aus Preußens schwerer Zeit

1919
Nonne und Tänzerin
Das Licht am Fenster
Der Fall Tolstikoff (Ernst Rüdiger)
Die Launen eines Milliardärs
Die Schreckensnacht im Irrenhaus Ivoy (Dr. Harry Walker)
Flitter-Dörtje
Spiele eines Milliardärs
Morphium

1920
Das wandernde Bild (Georgs Vetter Wil Brand)
Wildes Blut
Der schwarze Graf (Heinrich Munk)
Die geschlossene Kette

1920/1921
Die Nächte des Cornelius Brouwer (rebellischer Student)
Vier um die Frau/Kämpfende Herzen (Hehler Upton)

1921
Am Webstuhl der Zeit - Dramatisches Zeitbild aus schweren Tagen in 6 Teilen
Der müde Tod (Derwisch/Girolamo)
Zirkus des Lebens (Chauffeur Tom)

1921/1922
Dr. Mabuse, der Spieler - 1. Teil: Der große Spieler - Ein Bild unserer Zeit (Dr. Mabuse)
Dr. Mabuse, der Spieler - 2. Teil: Inferno - ein Spiel von Menschen unserer Zeit
(Dr. Mabuse)

1922-1924
Die Nibelungen: Siegfrieds Tod (Paul Richters Körperdouble)
Die Nibelungen: Kriemhilds Rache (König Etzel)

1922/1923
Der steinerne Reiter (Der Herr vom Berge)
Die Prinzessin Suwarin (Cyrus Proctor)

1923
Schatten - Eine nächtliche Halluzination

1924/1925
Pietro, der Korsar (Salvatore, ein Korsarhauptmann)

1925
Der Mann seiner Frau (Joseph Maria Hartley, Bankier)

1925/1926
Der rosa Diamant (Stuart, Theaterdirektor)
Metropolis (C. A. Rotwang)

1926
Die lachende Grille (Rossini)
Mädchenhandel - Eine internationale Gefahr (Simpat Karamanian/ Arut Akkunian/ ein deutscher Professor/ ein asiatischer Hausierer/ Dr. Papamarkos)

1926/1927
Der Zigeunerbaron (Mehmed Ali)

1927
Der Herr der Nacht (Eugen Lascano, Leiter eines Theater-Großkonzerns)
The Queen Was in the Parlour/Die letzte Nacht (Gen Krish)
Casanova (Le Tsar Peter III.)
Tingel-Tangel (Don Fabio Carrion)
Die raffinierteste Frau Berlins
Die Sandgräfin
Das Mädchen aus Frisco (Williams Pitt alias Francis Forest)

1927/1928
Spione (Haghi/Nemo, der Clown)

1928
Wolga - Wolga (Kosak)
Eine Nacht in Yoshiwara
La Faute de Monique (Haroun)
Mädchenschicksale (Lormand)
Die schönste Frau von Paris (Miller)

1929
Tu m’appartiens! (Burat-Laussade)
Le Requin (Vasseur)
Le Maison des Hommes Vivants
Meineid

Filmographie
Tonfilme

1932
Das Testament des Dr. Mabuse (Dr. Mabuse)

1935
Der alte und der junge König - Friedrichs des Großen Jugend (Prinz Leopold von Dessau)

1936
Der Kaiser von Kalifornien (Bankier)

1940
Das Herz der Königin (Ruthven, General der schottischen Schloßwache)
Kora Terry (Dunkler Ehrenmann, Komplize Vopescus)

noch nicht vollständig