До 1831 года земли, на которых находится усадьба, принадлежали помещику Собакину, известному своими нравами и ставшему прообразом Собакевича из «Мертвых душ». Из краеведческих очерков Н. С. Толстого известно, что он ложился в гроб посреди деревни и заставлял крестьян оплакивать его. Если кто-то улыбался, он выскакивал из гроба и начинал бить крестьян, приговаривая: «Вот так вы оплакиваете барина. Вот так!».

В 1831 году московский дворянин Николай Васильевич Левашов, участник войны 1812 года и отставной гвардии поручик, приобрел у Собакина часть деревень и сел, чтобы заняться лесопромышленностью и построить усадьбу. Он был женат на Екатерине Гавриловне, дочери Гавриила Степановича Решетова, и имел шестерых детей: сыновей Анатолия, Николая, Валерия, Василия и дочерей Лидию и Эмилию. В 1838 году Эмилия вышла замуж за барона Андрея Ивановича Дельвига, а в 1839 году умерла Екатерина Гавриловна. В следующем году Лидия вышла замуж за графа Николая Сергеевича Толстого. Эмилии Николай Сергеевич отписал деревни с центром в Галибихе, а Лидии, с центром в Богородском.

История усадьбы началась в 1839 году, когда Андрей Иванович Дельвиг разработал её проект. Он выбрал место возле деревни Галибиха, частично спроектировал парк и составил чертеж дома, а также посадил полосу вётл для укрепления ветлужского берега. Однако проект не был реализован из-за изменения решения Николая Васильевича по разделу имущества. В 1844 году Левашов умер, и дальнейшая история усадьбы связана с его сыном Валерием Николаевичем Левашовым.

В 1861 году Валерий Николаевич, оказавшись в Галибихе, занялся делами поместья. По эскизам Дельвига он построил второй дом усадьбы для своего старшего сына Вячеслава, который в народе прозвали «Славиным». Для другого сына, Валерия, у оврага с ручьем он построил одноэтажный дом с резьбой, «Валерин дом». От этого дома через овраг перекинули ажурный мостик, а на широкой поляне расположился ещё один дом усадьбы, «Белый дом». Первоначально он был двойным, соединённым стеклянным переходом, и в одном из домов была астрономическая вышка с телескопом. В 1949 году эту часть дома вывезли в Воскресенское. «Белый дом» также называют «кондыревским», так как, предположительно, в нём жила дочь Валерия Николаевича, Анастасия, чьим мужем был Иван Павлович Кондырев, занимавшийся научными исследованиями и писавший стихи.

Рядом с этими постройками располагались сад, огород и оранжерея. В парке собрали богатый флористический состав древесных и кустарниковых пород, среди которых были как местные, так и привезенные из других мест. Особую ценность представляли 38 экземпляров кедров, а также веймутова сосна, лиственница сибирская, тополь серебристый, серая ольха с рассечёнными листьями, боярышник и ирга колосистая.

Оставшуюся жизнь Валерий Николаевич посвятил семье и благотворительности в пользу крестьян. До своей смерти в 1877 году он часто бывал в Галибихе. В его доме остались жить его сыновья: Вячеслав и Валерий. Валерий Валерьевич и Вячеслав Валерьевич Левашовы стали последними хозяевами усадьбы. Вячеслав Валерьевич умер в 1912 году и был похоронен в семейном склепе.

После революции имущество усадьбы было разграблено. В 1927 году на её базе была создана огородническая артель. Затем здесь располагались колхоз, школа, детские ясли, сельский совет, почта и изба-читальня. В 1964 году в каменном здании усадьбы разместилась участковая больница, а на её территории был открыт дом отдыха Горьковского дома ученых и турбаза «Ветлуга».

В 2008 году окрестности усадьбы Левашовых вошли в состав природного парка «Воскресенское Поветлужье». В настоящее время в одном из домов усадьбы открыта художественная галерея «Дворянское гнездо».