Территория, где сейчас находятся Средние торговые ряды, начала развиваться с XIV века, когда на месте главных улиц, ведущих от белокаменного Кремля и Красной площади, был организован большой рынок. Со временем лавки, торгующие схожими товарами, стали располагаться компактно, образуя торговые ряды. Торг неоднократно подвергался пожарам и восстанавливался. В конце XVI века был издан указ о строительстве каменных лавок, и тогда сформировались три квартала торговых рядов: Верхние, Средние и Нижние.

После пожара 1812 года архитектор О. Бове перестроил Верхние и Средние торговые ряды, завершив работу в 1816 году.

К концу XIX века здания обветшали, и архитектурный облик Красной площади изменился с появлением Исторического музея. Встал вопрос о новой реконструкции. В 1888-1893 годах реконструировали Верхние ряды (архитектор А. Померанцев), затем настала очередь Средних. Строительство поручили Р. Клейну и завершили к 1893 году.

Средние торговые ряды включали несколько зданий: главный "кольцевой" корпус по периметру квартала и четыре двухэтажных внутренних корпуса, формировавших квартал с узкими улочками. Фасад внешнего корпуса состоит из двух частей разной высоты, так как здание расположено на склоне к Москве-реке. Первый этаж оформлен рядом полукруглых арок, над которыми на втором этаже находятся два окна, обрамлённые аркой. Окна третьего этажа украшены наличниками. Здание выполнено в "неорусском" стиле с множеством декоративных элементов.

Под зданиями были обустроены большие подвалы с заездом со стороны Варварки. Их техническое оснащение было передовым для того времени: центральное отопление, вентиляция, грузовые лифты и собственная электростанция.

После 1917 года в зданиях Средних торговых рядов разместился Второй дом Реввоенсовета. До 2000 года комплекс находился на балансе Минобороны. С 1930-х годов разрабатывались проекты, предусматривающие снос всех торговых рядов. Нижние ряды были снесены в 1960-е годы. Сейчас Средние торговые ряды перестраиваются, все четыре внутренних корпуса снесены, а центральный частично перепланирован.

В 2000 году ФГУП "Федеральный комплекс "Кремлевский", подчинённое Управделами президента, стало главным заказчиком реконструкции Средних торговых рядов. Планировалось построить на их основе гостиничный комплекс, но сроки сдачи неоднократно переносились. В июне 2012 года президент РФ предложил передать Средние торговые ряды музею "Московский Кремль".