Каменный храм был построен в 1749-1760 годах на месте деревянной церкви, уничтоженной в ходе польско-литовской интервенции. В 1805 году с западной стороны возвели новую колокольню, заменив старую. В 1826-1836 годах по проекту губернского архитектора И.Ф. Львова, на средства купцов И.Ф. Татаринцева и Ф.Н. Боброва, был построен новый, более крупный храм. Главный престол дал название всему собору, южный предел был посвящен Богоявлению, а северный, преподобным Антонию и Феодосию Печерским. Чтобы северный фасад гармонировал с окружающей застройкой, ему придали торжественный вид, а главный вход оборудовали подиумом со ступенями. По проекту Львова, лестницу должны были украшать статуи. В 1922 году из храма изъяли церковные ценности, а в 1935 году его закрыли. В 1936 году здесь разместилась экспозиция Краеведческого музея. Собор был вновь открыт для богослужений в конце октября 1941 года епископом Калининским Василием (Ратмировым) при содействии бургомистра Ясинского, назначенного германской оккупационной администрацией. Однако в декабре того же года, после восстановления советской власти, его снова закрыли. В 1972 году здание Вознесенского собора было передано под выставочный зал, после чего его отремонтировали и перестроили. В 1990-х годах собор вернули православной церкви, и 7 января 1993 года в нем возобновились богослужения.