Церковь расположена в Мукомольном переулке, ранее известном как Петромитрополитский, на территории бывшего мукомольного завода № 1. Она была построена в 1657 году на средства купца Ефрема Лифантьева. Главный престол освятили в честь Собора Божией Матери, а по бокам алтаря разместили холодный придел Андрея Первозванного и теплый придел во имя Святого Петра, митрополита Московского.

В XVII веке Петромитрополитская церковь была одной из главных высотных точек на левом берегу Которосли, между храмами Богоявления и Николы Мокрого. Это был первый каменный храм в Спасской ремесленной слободе Ярославля. В XVIII веке прихожанином церкви был первый ярославский генерал-губернатор Алексей Петрович Мельгунов.

Первоначально храм имел вытянутый в поперечнике четверик, завершавшийся двумя каменными шатрами. Четверик был перекрыт тяжелым сводом, опиравшимся на стены толщиной до 2 метров. Фундамент со стороны Которосли был сложен из крупных валунов. К четверику примыкала трапеза на четырех столпах. К северному нефу, более широкому, примыкала шатровая колокольня, а с западной стороны в трапезную вело высокое крыльцо.

Декор храма был скромным: углы четверика украшали лопатки, а в верхней части проходил узкий поясок поребрика и четыре ряда кладки. Окна были без наличников, а над ними находились ниши с иконными изображениями "Собор Богородицы" и "Ярославские святые". Внутри храма было 15 голосниковых отверстий, связывающих его с храмами Ростова. Архитектура храма значительно изменилась в XVIII и XIX веках.

С 13 июня 1760 года по 30 июня 1761 года стены храма украсили фресками. В их создании участвовали семь ярославских мастеров. В центре свода изображена Новозаветная Троица, сцены Благовещения и Поклонения волхвов, а также пророки и Богоматерь "Знамение". Стены разделены на три яруса: верхний с евангельскими сценами, нижний посвящен Страстям Христовым. Над западным порталом изображена Божия Матерь Владимирская, поддерживаемая ангелами, а рядом сцены "Бегство в Египет", "Спасение Богородицы под смоковницей" и "Падение идолов". В центральном алтаре на своде изображен "Христос ты еси иерей во веки", на западной половине свода "Семь таинств", в жертвеннике "Проскомидия", а в диаконнике "Коронование Богоматери" и сцены из жития Андрея Первозванного.

Фрески храма дважды обновлялись в 1840-х и реставратором Кузнецовым в 1900-х годах. В 1918 году церковь пострадала от артиллерийского обстрела. В 1929 году здание готовили к сносу, разобрали трапезную, колокольню и крыльцо. Художник-реставратор Н.И. Брягин снял фрески по методу И.А. Тихомирова и П.Н. Догадушкина. Часть фресок продали за границу, а некоторые хранятся в ГРМ Санкт-Петербурга и ЯМЗ. Дата закрытия храма неизвестна.