В 1664 году по благословению ростовского митрополита Ионы Сысоевича была возведена первая каменная церковь обители во имя Афанасия и Кирилла. После завершения строительства храм украсили росписями, выполненными мастерами из Москвы. Однако в 1670 году обитель пострадала от пожара. В 1676 году к северной стороне соборной церкви пристроили теплый храм с колокольней, который посвятили Алексию, митрополиту Московскому. Монастырь был небольшим и окружен невысокой каменной стеной только с восточной и северо-восточной стороны, с других сторон его ограничивали постройки обывательских домов и церковь Спасо-Пробоинская. На восточном фасаде обители, выходившем на Пробойную улицу, в XVIII веке возвели две небольшие каменные башни: одна служила Святыми воротами, в другой устроили часовню в память об обретении чудотворной иконы Спаса Нерукотворного. 25 июня 1768 года в центральной части Ярославля вновь произошел пожар, после которого был составлен список ущерба. Огонь повредил оба храма, игуменские и братские кельи, кухню, конюшню, каретник, баню, погреба и ограду. Общий ущерб в Афанасьевском монастыре оценили в 1000 рублей. Во время восстановительных работ обновили живопись церкви святых Афанасия и Кирилла, а каменный иконостас заменили деревянным. В 1820-1830-х годах в монастыре проводились значительные работы по благоустройству: у северной стены построили каменные двухэтажные настоятельские покои с трапезной палатой, у восточной ограды, две братские кельи. Около 1825 года для церкви Афанасия и Кирилла сделали новый иконостас, а в 1831 году теплый храм расширили и украсили росписями, выполненными художником Тимофеем Медведевым. В это же время монастырю передали 115-пудовый колокол из упраздненного Борисоглебского прихода, всего колокольня включала семь колоколов. В послереволюционные годы при монастыре зарегистрировали приходскую общину, которая упоминается в последний раз в 1923 году. В феврале 1925 года монастырь закрыли, часть ветхого имущества передали в церковь Спаса на Городу и другие храмы. В 1930-х годах городские власти разобрали монастырскую колокольню, а в храмах и кельях разместили различные предприятия, включая администрацию мебельной фабрики, а в братских корпусах поселились люди. В 2006 году по благословению архиепископа Ярославского и Ростовского Кирилла храм святителей Кирилла и Афанасия стал семинарской церковью, к семинарии также был приписан Спасо-Пробоинский храм.