Знаменская церковь, существующая сегодня, была построена в 1890-х годах, но это далеко не первое здание на этом месте. Еще в 1736 году, по просьбе игумена Ионы и указу архиепископа Иоакима, к Афанасьевскому монастырю была приписана часовня, пристроенная к Власьевской башне. Эта башня служила крепостными воротами Земляного города, и на ее восточном фасаде был изображен образ Богоматери Знамение, а на западном, образ Спаса, который, по преданию, был копией изображения на Спасской башне Московского Кремля. Образ Богоматери символизировал небесное покровительство городу. Первоначально к нему вела деревянная лестница, а затем была пристроена деревянная часовня, принадлежавшая Власьевской церкви. В 1736 году, из-за нехватки средств у Власьевской обители, архиепископ Иоаким распорядился, чтобы молебны у образа проводили монахи Афанасьевского монастыря, а пожертвования направлялись в его пользу.

В 1779 году деревянную часовню заменили на каменную, но в 1785 году генерал-губернатор А.П. Мельгунов решил разобрать Знаменскую башню для использования кирпича в строительстве Дома призрения ближнего. Однако благодаря вмешательству городского головы Андрея Барсова, который предложил губернатору 15 тысяч кирпичей, башню удалось сохранить. Вскоре после этого жена губернатора, заболев, увидела во сне образ Богоматери, который предсказал ее выздоровление при условии сохранения башни.

В 1850 году каменная часовня была расширена и украшена живописью. В 1861 году на средства А.И. Оловянишникова был построен каменный храм во имя иконы Знамения Богоматери. В 1890-х годах, благодаря усилиям епископа Иоанникия и архитектора А.А. Никифорова, храм был перестроен и расширен. 18 мая 1897 года состоялось его торжественное освящение. Образ Спаса на западном фасаде башни также пользовался почтением, ежегодно 1 августа перед ним проводился молебен.

Незадолго до Октябрьской революции в церкви появился престол в честь Анны Кашинской, о котором упоминается в описях 1920-х годов. Это, вероятно, было инициировано архимандритом Корнилием.

В 1930-х годах, когда местные власти планировали снести церковь, епископ Софоний обратился в Главнауку с просьбой сохранить икону Богоматери Знамение как археологическую ценность. Однако, после осмотра, фреску сочли второстепенной, и вскоре она была уничтожена. Знаменская церковь была закрыта 8 марта 1932 года, а ее имущество передано церкви Пятницы на Туговой Горе.

В 1990-х годах на храме восстановили главу, и в здании разместилась киностудия "Юность". В 2001 году архиепископ Михей предложил создать в Ярославле Православный культурный центр и вернуть храм церкви, но вопрос затянулся из-за отсутствия помещения для киностудии. Лишь через тринадцать лет, в 2015 году, церковь была возвращена Ярославской епархии, и 6 января состоялась первая служба после 80-летнего перерыва.