Ранее на месте нынешней мечети находился дом, возведённый в 1887 году и принадлежавший купцу Д. В. Тихомирову. В 1891 году его приобрела Хабиб Джамал Хабибудовна Тенишева, которая в 1893 и 1894 годах перестроила здание в мечеть с минаретом. В 1895 году она передала мечеть мусульманской общине.

Мечеть функционировала до 1929 года, когда власти её закрыли, и в здании разместилась татарская национальная школа. Позже строение было переоборудовано под жилой дом и оставалось таковым до марта 1991 года, когда по решению Пензенского горисполкома его вернули пензенской мусульманской общине.

С 1994 года в мечети возобновились богослужения. При ней также организованы курсы по подготовке имамов и муэдзинов.