В 1890 году городской управой был выделен участок земли обер-камергеру императорского двора Э. Д. Нарышкину для строительства здания Общества народных чтений. Здание, заложенное 14 мая 1891 года, было возведено в 1892 году по проекту А. С. Четверикова. Это добротное сооружение из красного кирпича не относится к какому-либо определённому архитектурному стилю, но выделяется высоким мастерством кирпичной кладки. Построенное за полтора года, здание использовало самые современные на тот момент строительные материалы и было оснащено водопроводом, канализацией и электричеством. С его открытием город получил отличное книгохранилище и просторный зал для собраний на 600 человек. На восточной стороне был возведён флигель на основе старой гауптвахты, где разместились квартиры смотрителя и библиотекаря, а с 1894 года он использовался как книжный склад. 1 июля 1894 года открылась читальня, названная Нарышкинской по указу императора. В здании также была оборудована Особая библиотека. В 1896 году открылась Выдачная библиотека и разместился историко-этнографический музей. История здания связана с именами многих общественных деятелей и представителей русской культуры, включая художника В. Д. Поленова и литературоведа И. П. Хрущёва.

В 1918 году в Тамбове был создан губернский художественный музей на основе художественного отдела Нарышкинской читальни и национализированных произведений из частных коллекций Араповых, Баратынских, Болдыревых, Нарышкиных и Строгановых. Музей закрылся в 1929 году, и его фонды вошли в состав краеведческого музея. С 1932 года на втором этаже здания работал первый в Тамбове звуковой театр «Комсомолец». В 1923 году в Нарышкинскую читальню было передано Центральное губернское книгохранилище, а через год, Центральная губернская, ставшая с 1937 года областной библиотекой имени А. С. Пушкина. В 1979 году библиотека переехала в новое здание, а в бывшее здание Нарышкинской читальни в 1983 году была переведена картинная галерея, торжественное открытие которой состоялось в июле того же года.