Дом в Шаморжинской обители был специально построен для московского предпринимателя и благотворителя Сергея Васильевича Перлова (1836-1910), где он останавливался с семьей во время визитов в монастырь.

Сергей Васильевич и его жена Анна Яковлевна были духовными учениками преподобного Амвросия и активно поддерживали обитель. Благодаря их пожертвованиям были возведены практически все основные монастырские здания и организованы различные мастерские: иконописная, чеканная, золочения по металлу и дереву, золотошвейная, переплетная, ковровая, швейная, а также типография и фотомастерская. По завещанию Сергей Васильевич был похоронен в обители рядом с могилами настоятельниц за алтарем Казанского собора. Анна Яковлевна, оставшись вдовой, жила в Москве, но часто приезжала в Шамордино с детьми и внуками. Перед смертью в 1919 году она приняла постриг с именем Амвросия.

Сегодня дом Перловых восстановлен и служит нуждам монастыря.