Andrej Rjabuschkin wurde am 17. (29.) Oktober 1861 im Dorf Stanitschnaja Sloboda im Borisoglebskij Ujesd der Provinz Tambow geboren. Sein Vater, Peter Wasiljewitsch, und sein älterer Bruder Fjodor beschäftigten sich mit Ikonenmalerei, und Andrej half ihnen von Kindesbeinen an. Mit 14 Jahren wurde er zum Waisen. Sein Talent wurde von dem Studenten der Moskauer Schule für Malerei, Bildhauerei und Architektur A. Ch. Preobraschenski bemerkt, der ihn nach Moskau brachte und ihm half, in die Schule einzutreten. Ohne die Ausbildung abzuschließen, zog Rjabuschkin nach Petersburg und trat 1882 in die Akademie der Künste ein, wo er bei Pawel Petrowitsch Tschistyakow studierte. Seine Diplomarbeit war das Gemälde „Abnahme vom Kreuz“ (1890).

Rjabuschkin unternahm zahlreiche Reisen zu alten russischen Städten wie Orjol, Tula, Kiew, Wladimir, Sergijew Possad, Twer, Jaroslawl, Uglitsch, Rostow, Kostroma, Nischni Nowgorod und Wladimir. Diese Reisen weckten in ihm das Interesse an der russischen Geschichte und dem Volksepos.

In den 1890er Jahren schuf er Auftragsarbeiten, Zeichnungen und Aquarelle für verschiedene Publikationen und Alben sowie Skizzen für die Malerei der Sophienkathedrale in Nowgorod. In dieser Zeit malte er das historische Gemälde „Moskauer Straße des 17. Jahrhunderts an einem Feiertag“ (1895).

Die russische Landschaft nimmt einen wichtigen Platz in seinen Werken ein. In seinen Arbeiten stützte sich Rjabuschkin auf die Traditionen der russischen Ikonenmalerei und Fresken. 1901 schuf er eines seiner besten Gemälde „Hochzeitszug in Moskau“, das Moskau des 17. Jahrhunderts darstellt. 1913 verkaufte der Sammler Sergej Schcherbatow dieses Gemälde an die Tretjakow-Galerie.

In den letzten Lebensjahren widmete sich der Künstler Illustrationen zu russischen Heldensagen und ländlichen Themen. In dieser Zeit malte er die Bilder „Wasser holen“ (1898), „Im Dorf“ (1902), „Der Junge mischte sich in den Reigen…“ (1902) und „Im Dorf. Zum Mittagessen“ (1903).

1903 wurde bei Rjabuschkin Tuberkulose diagnostiziert. Die Behandlung in der Schweiz brachte kein Ergebnis. Er starb im Anwesen seines Freundes Wasilij Wasiljewitsch Beljajew im Gut Didwino in der Provinz Nowgorod und wurde auf dem Friedhof in Dobroje Selo beigesetzt.

1957 wurde seine Asche auf dem Stadtfriedhof von Ljuban umgebettet, wo ein Denkmal errichtet wurde. 110 Gemälde Rjabuschkins befinden sich im Staatlichen Russischen Museum, in der Tretjakow-Galerie, im Allrussischen Museum A. S. Puschkin, im Forschungsinstitut der Russischen Akademie der Künste und im Pskower Kunstmuseum. Einige Arbeiten befinden sich in Privatbesitz, darunter das Archiv von I. F. Tjumenev mit etwa dreihundert Zeichnungen Rjabuschkins.