Собор в честь Рождества Христова был заложен в Вышенской пустыни в 1874 году при архимандрите Аркадии, а строительство завершилось через шестнадцать лет. Этот тёплый храм планировался как самый большой в монастыре. В соборе были устроены два престола: главный, в честь Рождества Христова, и правый, во имя святых мучеников Адриана и Натальи. Слева находились помещения для ризницы и облачения служащих. Храм украшен пятью куполами, среди которых центральный является самым большим и величественным. В 1911 году автор "Историко-статистического описания Тамбовской епархии" отметил, что "храм очень красив, с портиками с трёх сторон, длиной 46,9 м и шириной 34,1 м".

Внутри собор украшали изящные орнаменты и изображения святых. Для отопления под храмом были установлены две духовые печи, а также имелся подвал для хранения хозяйственных предметов. В храме находились иконы святых мучеников Адриана и Натальи с образом Спасителя, святого князя Александра Невского и святого праведного Евдокима с Владимирской иконой Божией Матери, святого великомученика Георгия Победоносца. Перед двумя передними столбами располагались клиросы. За правым клиросом был установлен позолоченный иконостас в виде рамы, в которой находились изображения обретения иконы Божией Матери в Казани и список с Санкт-Петербургской чудотворной Казанской иконы. Напротив этого образа в зимнее время находилась чудотворная Вышенская Казанская икона. За левым клиросом была копия иконы святых Девяти мучеников Кизических, а на специальном аналое размещался подлинник с частицами святых мучеников.

В ХХ веке, после закрытия монастыря, храм использовали как зернохранилище, а притвор с западной стороны превратили в морг психиатрической больницы. В начале 1990-х годов собор вернули Православной Церкви, и началась его постепенная реставрация. Храм покрыли медной кровлей, а главы увенчали позолоченными крестами, которые были освящены архиепископом Рязанским и Касимовским Павлом 15 марта 2009 года и в тот же день установлены на купола. Рядом была построена временная колокольня с подаренными монастырю колоколами. Сейчас храм внешне отреставрирован и окрашен в нежные бело-голубые тона, но внутри реставрационные работы ещё продолжаются.