Каменный детинец Вологды начал строиться 28 апреля 1566 года по указу Ивана IV Грозного в день святых апостолов Иасона и Сосипатра. Это событие дало крепости второе название, Насон-город. Руководить строительством пригласили английского инженера Хемфри Локка, хотя по другим источникам это был русский инженер Размысл Петров. Царь планировал создать здесь свою резиденцию. Кремль был ограничен рекой Вологдой с севера, с юго-востока и юга были прорыт рвы, а на западе граница проходила по современной Ленинградской улице, где также были рвы и земляные валы. Вода в рвы поступала из реки Содимы, русло которой, вероятно, изменили. Строительство прекратилось в 1571 году после неожиданного отъезда царя из Вологды. К этому времени была возведена каменная стена с девятью башнями с юго-восточной стороны и две башни с пряслами на юго-западном углу. Внутри детинца построили каменный Софийский собор и деревянный царский дворец с церковью Иоакима и Анны. После отъезда царя на месте недостроенных стен возвели деревянный острог с 21 или 23 шатровыми башнями. Полностью каменной была стена с юго-востока и частично с северо-запада. Несмотря на недостроенность, кремль впечатлял своими размерами.

В описи 1657 года упоминалось, что деревянные стены с северной и западной сторон уже отсутствовали, а каменные башни и стены сильно разрушились. Крепость утратила своё значение, и камень с кирпичом использовались для строительства церквей и гражданских зданий. После паводка реки Вологды в 1670 году, который размывал земляной вал от Водяных ворот до Ильинского рва, крепость больше не восстанавливали. В 1780 году часть каменных башен ещё существовала, но в 1822, 1823 годах при генерале-губернаторе Брусилове при создании бульваров разобрали последнюю башню, Пороховую. Рвы на современных Октябрьской и Ленинградской улицах засыпали.

Первый генеральный план Вологды 1780 года основывался на сохранившихся каменных стенах кремля, территория которого стала композиционным центром. От него расходились радиальные улицы: Центральная улица, Пятницкая начиналась от Софийского собора, Восточная радиальная улица шла от Соборной площади по Большой Благовещенской улице, современной улице Батюшкова, и Глинковской набережной, улице Мира. Петербургская, Ленинградская улица должна была стать западной радиальной улицей.

В XX и XXI веках территория кремля является историческим и торговым центром Вологды, известным как Город или Насон-город. Следы оборонительных сооружений можно увидеть в виде рвов, прудов парка ВРЗ, реки Золотухи, вала в парке ВРЗ и в фундаментах торговых рядов на улице Мира.

В 2011 году вологодские археологи провели раскопки на месте, где находились Пречистенская и Каменная башни, а также прясла между ними. В ближайшее время найденную крепость внесут в федеральный реестр памятников. Планируется, что артефакты, обнаруженные во время раскопок, будут выставлены с 2013 года в Вологодском историко-архитектурном музее-заповеднике.