Кирпичная трёхпрестольная церковь с трапезной и колокольней была возведена в 1801 году в стиле классицизма по проекту И. Д. Ясныгина. Строительство осуществлялось при поддержке прихожан и городского общества на месте одноимённой церкви, ранее находившейся на посаде.

Церковь Василия Блаженного, также известная как Троицкая, упоминается в описи 1626 года как «Церковь Василия Великого в остроге на посаде». В 1685 году она была описана как деревянная с четырьмя колоколами. После пожара в 1742 году её восстановили из камня прихожане и вкладчики. Церковь находилась на площади возле Никитской церкви, с северной стороны, на месте, известном как Никитское кладбище. В 1801 году, из-за ветхости и в связи с новым планом города, её разобрали и перенесли в северную часть города, в Солдатскую слободу.

На этом месте в XVII веке располагалось кладбище, и даже в середине XIX века за алтарём находили надгробные каменные памятники. Здесь также стояла каменная часовня во имя Казанской Божией Матери, принадлежащая Мироносицкой церкви. Главный престол церкви освящён в честь святой Троицы, правый придел, в честь святого Василия Блаженного, а левый, в честь святого мученика Власия. Трапеза была расширена в 1830 году, а второй придел построен в 1855 году. Колокольню возвели в 1830 году. Митрополит Иона, сын причетника этой церкви, в детстве жил сиротой в церковной сторожке со слепой бабушкой. В благодарность за приют он пожертвовал более двадцати тысяч рублей серебром, на которые построили колокольню, расписали храм и приобрели церковную утварь.

Церковь представляет собой кубический четверик с полукруглой апсидой, массивным барабаном, куполом и крестом на трибуне. Главный престол Троицкий, приделы Васильевский (1801) и Власьевский (1846). Трёхъярусная колокольня была возведена в 1829 году на средства митрополита Ионы. Церковь закрыли в 1938 году, использовали как склады, а в 2000 году обрушился купол. В том же году здание передали епархии, и в настоящее время оно восстановлено.