Дворянское собрание являлось главным органом объединения дворян по сословному признаку, созданным на основании «Грамоты на права, вольности и преимущества благородного российского дворянства» от 21 апреля 1785 года. Этот законодательный акт позволял дворянам в каждом губернском городе иметь собственный дом для проведения выборов, который также служил местом общения и отдыха.

Организационное собрание Пензенского дворянского общества прошло 5 ноября 1785 года в доме губернского предводителя дворянства Е. П. Чемесова. В 1788 году для Дворянского собрания был приобретен деревянный дом надворной советницы О. М. Мачавариановой, который продали в 1794 году перед началом строительства нового каменного здания. Строительство велось пензенскими купцами Дьячковым, Иванисовым и Шульгиным в 1794 и 1796 годах. В 1845-1847 годах купец 1-й гильдии П. В. Сергеев расширил здание по проекту архитектора В. Моргана, изменив фасад. В начале 1870-х годов во время капитального ремонта была обновлена парадная лестница и украшен лепниной зал. В конце XIX века над парадным входом появился чугунный навес с гербом Пензы, изображающим три снопа, перевитые лентами.

Здание Дворянского собрания использовалось для выборов, собраний, балов, концертов и спектаклей, которые посещали представители пензенской аристократии, включая известных поэтов В. А. Жуковского, П. А. Вяземского и писателя М. Н. Загоскина. На одном из балов поэт Денис Давыдов познакомился с Евгенией Дмитриевной Золотаревой, которой посвятил цикл стихотворений. На концертах выступали знаменитые музыканты, такие как скрипачи Л. С. Ауэр и Я. Кубелик, пианисты С. И. Танеев и И. Гофман, певица Н. А. Обухова.

15 февраля 1918 года в здании открылся Дворец труда, где проводились общественно-политические и культурные мероприятия. В 1936 году здесь разместился Дом пионеров, а в 1987 году здание было передано городскому ТЮЗу (Молодежному театру). Однако, из-за необходимости значительного ремонта, спектакли там не проводились.

С июля 2008 года в здании располагается Законодательное собрание Пензенской области, открыв новое направление в истории этого старинного здания.