После смерти единственного сына мануфактур-советник Герасим Иванович Хлудов решил создать крупное благотворительное учреждение, финансируемое из его капитала. Он приобрел у купца Васильева большое владение, бывшую фабрику с господским домом на берегу реки Яузы в Сыромятниках. Здесь планировалось построить "Дом призрения для бедных имени Г.И. Хлудова". На отделку и обустройство здания он завещал 200 тысяч рублей, а еще 300 тысяч в ценных бумагах Московско-Курской железной дороги предназначались для содержания призреваемых. Опасаясь, что его замысел может не осуществиться при жизни, Хлудов подробно описал в завещании условия существования богадельни. В 1885 году Герасим Иванович скончался, и его дело продолжили четыре дочери-наследницы.

Для строительства богадельни Московское Купеческое Общество наняло известного архитектора Б.В. Фрейденберга. В 1888 году были готовы корпуса богадельни на 80 человек (30 мужчин и 50 женщин) с домовой церковью. Центральный придел освятили в честь преподобного Герасима Иорданского, еще один придел, в память об умершем брате, посвятили святым апостолам Петру и Павлу, а третий, святой Пелагии, покровительнице их матери, скончавшейся вскоре после супруга. Здание, спроектированное Фрейденбергом, получилось строгим и стильным. Центральный ризалит выделен полуколоннами и башенками, украшающими высокий фронтон. Над богадельней возвышается большой купол домовой церкви.

Дочери-наследницы хотели, чтобы в комплексе, кроме богадельни, были корпуса с бесплатными квартирами для вдов с сиротами, так как в Москве ощущалась нехватка таких заведений. Сразу был построен корпус на 87 бесплатных квартир, на что дочери добавили 98 000 рублей. Однако очередь обездоленных вдов почти не уменьшилась, и Александра Герасимовна пожертвовала еще 100 000 рублей на строительство дополнительного корпуса. Старшая сестра Пелагея также внесла вклад, пожертвовав в 1890 году 100 000 рублей на строительство отделения для престарелых женщин, нуждающихся в медицинской помощи, в память о рано умершем муже и матери. Таким образом, вдоль Сыромятнического переулка вырос огромный благотворительный городок, включавший главный корпус богадельни с домовой церковью и три корпуса дома бесплатных квартир с большим парком, простиравшимся до берегов реки Яузы. В 1913 году в богадельне находилось 105 человек, в домах бесплатных квартир проживало 570 вдов с детьми, а в школах обучалось 155 детей.

Огромный благотворительный комплекс перестал существовать в 1918 году. Новая власть забрала здания для своих нужд. Сначала это были различные конторы, затем здания передали научно-исследовательскому институту Академии Наук. Церковь перестала существовать, ее разделили на этажи. Теперь купол виден от Винзавода, а апсиды можно рассмотреть через забор во дворе. Большой парк застроен.