Из жития преподобного Пафнутия известно, что новый каменный храм, возведенный на месте прежней деревянной церкви, был расписан иконописцами Митрофаном и Дионисием. Собор был настолько великолепен, что даже московские князья восхищались им. Белокаменный храм просуществовал чуть более ста лет.

В конце XVI века по указу и на средства царя Федора Ивановича вместо старого белокаменного был построен новый кирпичный храм, освященный в 1589 году и названный храмом Рождества Пресвятой Богородицы. Пять куполов собора, оформленные в шлемовидном стиле, придавали ему суровость и величественность. Алтарь сначала отделяла кирпичная стена, которую затем заменили иконостасом. В южной части алтаря за кирпичной стеной был устроен придел в честь Федора Стратилата, а к северной стене примыкала церковь в честь Великомученицы Ирины. Эти имена были выбраны в честь небесных покровителей царя Федора и царицы Ирины, сестры Бориса Годунова. Кресты на соборе украшены царскими коронами, что подчеркивает покровительство царя.

Известно, что Федор Иванович посещал это место для молитвы в 1592 и 1595 годах. За 400 лет собор неоднократно подвергался изменениям. В середине XVII века с трех сторон были построены паперти, позже изменены окна. В XVII веке были добавлены главы, заменившие шлемовидные окончания, чтобы собор по высоте соответствовал новой высокой колокольне. В 1837 году к задней стене пристроили кирпичную трапезную, сохранившуюся до наших дней. Разница в их постройке составляет 250 лет. Во время реставрации было решено сохранить и обновить трапезную, чтобы проследить изменения архитектурных форм. Пристройка, выполненная в позднем классицизме, является самым поздним сооружением монастыря. В 1997-1998 годах в ней устроили придел в честь преподобного Пафнутия. В собор можно войти с южной и северной сторон.

В прошлом на стенах собора местами была роспись, но к середине XIX века она сохранилась только над южным и северным порталами под железными навесами. Внутри собор украшен иконописью византийского стиля. Нижняя часть северной и южной стен церкви Рождества Богородицы содержит цикл жития преподобного Пафнутия Боровского. Фрески дважды были покрыты маслом, но в приделе Федора Стратилата сохранились некоторые оригинальные сюжеты. В XX веке, после возвращения монастыря Церкви, реставраторам удалось восстановить фрески.

В 1920-е годы собор использовался как хозяйственный ангар, который постепенно разрушался. В 1954 году обрушился центральный барабан, повредив два учебных зерновых комбайна, так как в монастыре находилось сельскохозяйственное учебное заведение. В ходе реставрации, начатой в 1962 году, выяснилось, что причиной разрушений стала деформация фундамента. Работы были временно приостановлены из-за странных происшествий, и место возле алтаря осталось нетронутым.

Своды центрального купола и четырех боковых главок поддерживаются четырьмя столбами. В соборе установлена система голосников для усиления акустики. Самый большой голосник находится в северо-западном столбе. В северной стене есть дверной проем, ведущий в тайник под крышей, где хранились ценности.

Существует легенда о двух подземных ходах из собора в Калугу и Москву. Монахам из Пафнутьева монастыря разрешалось торговать в Москве и Калуге, и они могли добираться туда по подземным ходам, избегая мирских соблазнов. Полы в соборе сейчас каменные с подогревом, но раньше они были из железных плит.