Поселения людей на территории, прилегающей к Кремлю, появились ещё в эпоху мезолита. Археологические раскопки показывают наличие крупных поселений в современных районах Фефёлово Бор, Канищево, Борки и на Рыбацкой улице. Славянские племена начали заселять эти места в VI-VII веках. Крупное поселение Борковское, расположенное на Окском острове, активно торговало с Византией и странами Востока и Запада. Другим важным укреплённым поселением было городище Борисов-Глебов, которое позже стало Переяславльской резиденцией архиереев и Борисоглебской площадью. Большое количество поселений и наличие торгового порта обусловили необходимость строительства укреплённого города для защиты населения и окрестностей. Таким городом стал Переяславль-Рязанский.

Дата основания кремля Переяславля-Рязанского указана в Следованой псалтыри, которая хранится в музее-заповеднике: "В лета 1095 заложен бысть град Переяславль Рязаньской около церкви святого Николы Старого, следованая псалтырь Ильинской церкви, 1570г., с.378".

В XI веке кремль Переяславля-Рязанского представлял собой укреплённую крепость, расположенную в северо-западной части современного архитектурного комплекса, на месте нынешней церкви Святого Духа, площадью 2 гектара. Вокруг крепости находились слободы и неукреплённые поселения, где жили крестьяне, рыбаки и ремесленники. Улицы были вымощены деревом, а дворы располагались близко друг к другу. Княжеский терем, вероятно, стоял на месте современной Духовской церкви. Окружающая местность была покрыта лесами, а реки Трубеж и Лыбедь были судоходными. На холме находились озёра Быстрое и Карасева, откуда брали воду во время осад. В половодье реки и Ока разливались, превращая Кремлёвский холм в остров.

Раскопки в Житном раскопе, относящиеся ко второй половине XII века, подтверждают, что Переяславль-Рязанский возник на полтора века раньше первого упоминания в летописи 1300 года. Первоначально он был одной из крепостей Рязанского княжества. После уничтожения Рязани монголо-татарами в 1285 году архиепископ Василий Рязанский перенёс в Переяславль епископскую кафедру, а в середине XIV века сюда же была перенесена столица княжества. С XII века город рос, занимая весь Кремлёвский холм, что требовало расширения оборонительных сооружений. Были построены новые деревянные стены и башни. Южный склон представлял опасность, поэтому в XII веке начали строить оборонительный вал и ров. До середины XVII века на нём стояли стены. Литовские летописи XIV века отмечают, что город располагался в "прирождённом месте оборонном", а его укрепления впечатляли как столичный замок. К XV веку рядом с городом появился укреплённый острог, началось каменное строительство. Первым каменным сооружением стал Успенский собор, затем построили Глебовскую башню и Архангельский собор.

Кремль окружали оборонительные форпосты: Борисоглебская крепость, Троицкий, Солотчинский, Пощуповский и Богоявленский монастыри. Кремль и Переяславль стали начальной точкой засечной черты Московского княжества.

В XVIII веке, с расширением границ Российской империи, военное строительство в Переяславле прекратилось, уступив место гражданской архитектуре. Деревянные стены и башни кремля обветшали. В 1778 году Переяславль-Рязанский был переименован в Рязань и в 1796 году стал центром Рязанской губернии. Город начали перестраивать по регулярному плану, обветшавшие стены и башни кремля снесли. Административная, светская и культурная жизнь сосредоточилась в новых центрах. Реконструкция кремля продолжалась: в 1789 году началось строительство Соборной колокольни Успенского собора, Христорождественский собор был перестроен. До конца XIX века происходили перестройки Архиерейского дворца. Речной порт на Трубеже оставался основным. На Спасском Яру построили каменную церковь. В 1884 году был создан Рязанский исторический музей, а в 1895 году рядом с кремлём был устроен Соборный бульвар и возведена Триумфальная арка.

В 1918 году все музеи и коллекции были объединены в губернский историко-художественный музей. Главным зданием музея в 1922 году стали Архиерейские палаты Рязанского кремля. Первые реставрационные обследования начались в 20-30-х годах. Готовились проекты реставрации комплекса и территорий за пределами города. В музее работали известные специалисты, но дальнейшие работы прервала Великая Отечественная война.

С начала войны на Кремлёвском валу располагалась огневая точка ПВО, а у подножья проходили занятия по артиллерийской подготовке. Бомбардировки не затронули кремль. С 1950-х годов началась масштабная реставрация комплекса. Основной проблемой было состояние фундамента Успенского собора и Соборной колокольни. Для реставрации привлекли специалистов метростроя. Началось благоустройство территории, появились Трубежная набережная, зелёные аллеи и площади, подсветка зданий, разбит Соборный парк. С 1964 года в Успенском соборе работал планетарий и музейные выставки. Здания передавались административным учреждениям, в Христорождественском соборе и церкви Богоявления разместился областной архив, Духовскую церковь заняла музейная библиотека, Ильинский храм стал научным лекторием. В 1968 году Рязанский кремль стал историко-архитектурным музеем-заповедником с особым статусом охраны.