Первый каменный храм в монастыре был возведен на месте старого деревянного Николаевского храма с приделом в честь великомученика Георгия Победоносца. Инициатором строительства стал рыльский купец Прокофий Герасимович Шелехов, который в 1731 году заключил договоры с мастерами из Москвы и Галиции на изготовление качественного кирпича, но не дожил до начала работ. В 1733 году его сын, Иван Прокофьевич Шелехов, продолжил дело, получив разрешение от императрицы Анны Иоанновны. Храм был построен быстро, но долго не освящался, возможно, из-за нехватки средств. Существует и другая версия, предложенная краеведом Н. Сенаторским, согласно которой между купцами Шелеховыми и настоятелем монастыря Матфеем, происходившим из знатного рода Лукашевых, возникло соперничество за право быть главными благотворителями обители. В 1747 году сестра настоятеля, Анна Ивановна Забелина, построила в монастыре Троицкий храм, а в 1753 году на пожертвования других родственников и игумена Матфея был быстро возведен Николаевский собор. Завершил строительство нового храма Семен Иванович Шелехов, оплативший ремонт и отделку. В 1783 году храму выдали антиминс, и он был освящен в честь праздника Крестовоздвижения. В советские годы Крестовоздвиженский храм сильно пострадал: после войны в нем разместили камнедробильный цех, и была выбита стена. В настоящее время завершаются внешние отделочные работы.