Андрей Рябушкин родился 17 (29) октября 1861 года в селе Станичная слобода Борисоглебского уезда Тамбовской губернии. Его отец, Пётр Васильевич, и старший брат Фёдор занимались иконописью, и Андрей с детства помогал им. В 14 лет он остался сиротой. Его талант заметил студент Московского училища живописи, ваяния и зодчества А. Х. Преображенский, который привёз его в Москву и помог поступить в училище. Не завершив обучение, Рябушкин переехал в Петербург и в 1882 году поступил в Академию художеств, где учился у Павла Петровича Чистякова. Его дипломной работой стала картина «Снятие с креста» (1890).

Рябушкин совершил множество поездок по древним русским городам, таким как Орёл, Тула, Киев, Великий Новгород, Сергиев Посад, Тверь, Ярославль, Углич, Ростов, Кострома, Нижний Новгород и Владимир. Эти путешествия пробудили в нём интерес к русской истории и народному эпосу.

В 1890-х годах он создавал заказные работы, рисунки и акварели для различных изданий и альбомов, а также эскизы для росписи Софийского собора в Новгороде. В этот период он написал историческую картину «Московская улица XVII века в праздничный день» (1895).

Русский пейзаж занимает важное место в его произведениях. В своих работах Рябушкин опирался на традиции русской иконописи и фресок. В 1901 году он создал одну из своих лучших картин «Свадебный поезд в Москве», изображающую Москву XVII века. В 1913 году коллекционер Сергей Щербатов продал эту картину Третьяковской галерее.

В последние годы жизни художник увлёкся иллюстрациями к русским былинам и деревенским темам. В этот период он написал картины «За водой» (1898), «В деревне» (1902), «Втёрся парень в хоровод…» (1902) и «В деревне. К обедне» (1903).

В 1903 году у Рябушкина диагностировали туберкулёз. Лечение в Швейцарии не принесло результата. Он скончался в имении своего друга Василия Васильевича Беляева в усадьбе Дидвино Новгородской губернии и был похоронен на кладбище в Добром Селе.

В 1957 году его прах был перезахоронен на Любанском городском кладбище, где установлен памятник. 110 картин Рябушкина находятся в Государственном русском музее, Третьяковской галерее, Всероссийском музее А. С. Пушкина, Научно-исследовательском музее Российской Академии художеств и Псковском художественном музее. Некоторые работы хранятся в частных коллекциях, включая архив И. Ф. Тюменева с около трёхсот рисунками Рябушкина.