Am 15. Juni 1856 wurde Franz Alexejewitsch Rubo in Odessa als Sohn von Einwanderern aus Marseille geboren. Sein Vater, Honoré Fortuna Alexis Rubo, war im Buchhandel tätig, während seine Mutter, Madeleine Rubo, Kleider auf den Straßen der Deribasowskaja und Rischeljewskaja verkaufte und später ein eigenes Modelabel gründete. Die Eltern bemerkten das Talent ihres Sohnes zum Zeichnen und schickten ihn von 1865 bis 1877 an die Odessaer Zeichenschule. 1878 trat Rubo in die Münchener Akademie der Bildenden Künste ein, wo er bis 1883 studierte. Er spezialisierte sich auf Schlachtenmalerei und schuf Panoramen, die Malerei mit dreidimensionalen Modellen kombinierten und die Illusion historischer Ereignisse erzeugten.

Rubo erlangte Bekanntheit mit dem Gemälde "Straße in Jermolintsy, Podolien", das 1883 auf der Frühlingsausstellung der Akademie der Bildenden Künste in St. Petersburg gezeigt wurde. Der Kaukasus war eines seiner Lieblingsthemen. 1886 erhielt er den Auftrag, 19 Bilder über die Kaukasuskriege für den "Tempel der Ehre" in Tiflis zu schaffen. Bald entwarf er das Panorama "Sturm auf den Aul Achulgo", das er von 1889 bis 1891 schuf. Nach dessen Präsentation in München im Jahr 1891 verlieh die Bayerische Akademie der Bildenden Künste ihm den Titel Professor und ehrte ihn mit dem Orden des Heiligen Michael.

In München hatte Rubo die Idee, die heldenhafte Vergangenheit des russischen Volkes festzuhalten. 1901 erhielt er den Auftrag, ein Panorama zur Erinnerung an die heldenhafte Verteidigung von Sewastopol während des Krimkriegs 1853-1856 zu schaffen. Das Panorama "Verteidigung von Sewastopol" wurde 1904 fertiggestellt und nach Krim geliefert. Die feierliche Eröffnung fand am 14. Mai 1905 in einem speziell errichteten Gebäude nach dem Entwurf des Ingenieurs Friedrich-Oskar Enberg statt.

In den Jahren 1910-1912 arbeitete Rubo an einem Panorama, das den Morgenstunden des 7. Septembers (26. August nach altem Stil) 1812 gewidmet war, als erbitterte Kämpfe um die Semjonowskije Flüsse und die Batterie Raewski stattfanden. Das Panorama wurde in einem Gebäude am Chistoprudny Boulevard in Moskau eröffnet. 1962 wurde das restaurierte Panorama Rubos im Panorama-Museum "Schlacht von Borodino" untergebracht. Auf dem Borodino-Feld wurde ein Gedenkzeichen an dem Ort aufgestellt, an dem der Künstler seine Skizzen anfertigte.

1913 ließ sich Franz Rubo endgültig in Deutschland nieder und wurde Kommissar der russischen Abteilung auf der Münchener Ausstellung, wofür er mit dem Orden des Heiligen Wladimir IV. Klasse ausgezeichnet wurde. Franz Rubo starb am 13. März (nach anderen Angaben am 11. März) 1928 in München und wurde im Grab seiner Tochter Anna auf dem Friedhof der Klosterinsel Fraueninsel beigesetzt.