История усадьбы начинается с Федора Григорьевича Орлова, который приобрел здесь два больших участка. После его смерти они перешли по наследству к его племяннице, одиннадцатилетней Анне Орловой-Чесменской. Однако фактическим владельцем стал брат Федора, отец Анны, граф Алексей Григорьевич Орлов-Чесменский.

В это время в усадьбе произошли основные изменения, связанные с увлечением графа лошадьми. На его конном заводе были выведены две породы лошадей, рысак и верховая, названные Орловскими. Прежде чем завоевать мировую славу на ипподромах, эти лошади демонстрировали свои качества на Орловском лугу, который находился там, где сейчас проходит Ленинский проспект.

Вдоль северо-восточной границы служебного двора было построено длинное каменное здание Манежа и примыкающих к нему конюшен. В манеже проводились карусели, конные состязания и процессии, в которых участвовала дочь графа Анна.

В 1844 году архитектор Е.Д. Тюрин перестроил манеж и конюшни для размещения кавалерийского эскадрона. Эти здания использовались по назначению до революции. Манеж Орлова оставался самым большим до строительства манежа у стен Кремля.

В 1918 году все владения были национализированы и взяты под государственную охрану. Здесь размещались различные музеи. В 1934 году сюда переехал Музей минералогии, когда было решено перевести учреждения Академии наук из Ленинграда в Москву. Для перевозки музея понадобилось 30 вагонов. Коллекция насчитывала около 60 тысяч экспонатов и 20 тысяч дублетов. Несмотря на трудности, переезд состоялся, и с 1936 года музей находится в Москве, принимая посетителей в здании бывшего Орловского манежа.