Die Adelssammlung war das Hauptorgan der Vereinigung der Adligen nach Stand, gegründet auf der Grundlage der "Urkunde über die Rechte, Freiheiten und Vorteile des edlen russischen Adels" vom 21. April 1785. Dieses Gesetz erlaubte es den Adligen in jeder Guberniestaadt, ein eigenes Haus für die Durchführung von Wahlen zu haben, das auch als Ort der Kommunikation und Erholung diente.

Die organisatorische Versammlung der Penzenschen Adelsgesellschaft fand am 5. November 1785 im Haus des gubernialen Vorstehers der Adligen E. P. Tschemesow statt. 1788 wurde für die Adelssammlung ein Holzhaus der Hofrätin O. M. Machawarianowa erworben, das 1794 vor Beginn des Baus eines neuen Steingebäudes verkauft wurde. Der Bau wurde von den Penzenschen Kaufleuten Djakow, Iwanissow und Schulgins in den Jahren 1794 und 1796 durchgeführt. In den Jahren 1845-1847 erweiterte der Kaufmann 1. Gilde P. W. Sergejew das Gebäude nach den Plänen des Architekten W. Morgana und veränderte die Fassade. Zu Beginn der 1870er Jahre wurde während einer umfassenden Renovierung die repräsentative Treppe erneuert und der Saal mit Stuck verziert. Ende des 19. Jahrhunderts erschien über dem Haupteingang ein eiserner Vordach mit dem Wappen von Penza, das drei mit Bändern umwickelte Garben darstellt.

Das Gebäude der Adelssammlung wurde für Wahlen, Versammlungen, Bälle, Konzerte und Theateraufführungen genutzt, die von Vertretern der Penzenschen Aristokratie besucht wurden, darunter bekannte Dichter wie W. A. Schukowski, P. A. Wjasemsky und der Schriftsteller M. N. Sagoskin. Auf einem der Bälle lernte der Dichter Denis Dawydow Jewgenija Dmitrijewna Solotarewa kennen, der er einen Zyklus von Gedichten widmete. Bei den Konzerten traten berühmte Musiker auf, wie die Geiger L. S. Auer und J. Kubelik, die Pianisten S. I. Taneyev und I. Hofmann sowie die Sängerin N. A. Obuchowa.

Am 15. Februar 1918 wurde im Gebäude der Palast der Arbeit eröffnet, wo gesellschaftspolitische und kulturelle Veranstaltungen stattfanden. 1936 wurde hier das Pionierhaus untergebracht, und 1987 wurde das Gebäude an das städtische TJUZ (Jugendtheater) übergeben. Aufgrund des erheblichen Reparaturbedarfs fanden dort jedoch keine Aufführungen statt.

Seit Juli 2008 befindet sich im Gebäude die Gesetzgebende Versammlung der Oblast Penza, die eine neue Richtung in der Geschichte dieses alten Gebäudes eröffnet hat.