На протяжении более двухсот лет все постройки на острове были деревянными. После разрушительного пожара, уничтожившего монастырские здания, в 1478 году началось возведение первого каменного храма на русском Севере, Спасо-Преображенского собора, который был завершён и освящён в 1481 году. Строительство финансировалось удельным князем Андреем Меньшим, владевшим Вологдой, Кубеной и Заозерьем. Белый камень привозили из Старицы, а кирпич, из Твери. Кирпич был в виде плоской плинфы, которая в то время уже выходила из массового использования в русской архитектуре. Существует множество предположений о происхождении мастеров, построивших собор. В настоящее время считается, что зодчие были приглашены из Ростова, поскольку монастырь в XV веке входил в состав Ростовской епархии.

Архитектура собора сочетала элементы московского и ростовского зодчества. Изначально Спасо-Преображенский собор был четырёхстолпным трёхапсидным крестово-купольным храмом на невысоком подклете. Его завершали три яруса кокошников и две главы: большая в центре и меньшая над юго-восточным углом, где находился придел. Стены, апсиды и барабаны глав были богато украшены керамическими рельефными плитками, поребриком, бегунцом и нишками. Этот собор стал образцом для строительства других храмов в северных монастырях, таких как Ферапонтов, Кирилло-Белозёрский и Спасо-Прилуцкий.

В 1925 году советская власть закрыла монастырь. Монахов изгнали, а в жилых помещениях попытались организовать колонию для малолетних преступников, которые вскоре разбежались. Осенью пожар повредил многие здания. В том же году древнейший храм Русского Севера, к тому времени уже пятиглавый, был уничтожен взрывом, оставив на своём месте груду щебня. В 1937 году ради кирпича, предназначенного для строительства местного Дома культуры, был взорван и Спасо-Преображенский собор. Однако полученный кирпич так и не использовали для строительства.