Село Толстошеево впервые упоминается в переписных книгах Мещовского уезда 1646 года. В 1660 и 1668 годах эти земли принадлежали боярину Илье Даниловичу Милославскому, тестю царя. После смерти его вдовы Аксиньи селом владели Обуховы, пока в 1721 году его не приобрёл крупный заводчик Н. Н. Демидов.

Демидов переименовал селение в Брынь-завод, построил плотину на реке Брынь и в 1725 году открыл железоделательный завод. Он также обустроил усадьбу, возведя каменный двухэтажный дом с 26 окнами и арочным въездом во внутренний двор. В 1736 году он построил деревянную церковь, освящённую во имя Преображения Господня.

По данным «Описания и алфавитов к Калужскому атласу», в 1782 году село Толстошеево, известное как «Брынский железный завод», принадлежало А. Н. Демидову. В селе насчитывалось 224 двора, был пруд, деревянная церковь Преображения Господня, каменный господский дом и два сада. На реке Брынь находился железный завод с пятью молотовыми, каждая из которых имела два горна для переработки чугуна в железо. В селе также были две мельницы: пильная и мучная.

После смерти А. Н. Демидова завод перешёл под опеку государства и был продан калужскому купцу Илье Назаровичу Коробову, который в 1818 году уступил его прапорщику гвардии П. Е. Демидову. В 1820 году Екатерина Алексеевна Рябинина, жена статского советника, приобрела усадебные земли и получила разрешение на закрытие завода, который давно не функционировал. Здания завода она сдала в аренду московскому купцу П. М. Александрову для организации суконной мануфактуры.

В 1830-х годах Брынская суконная фабрика стала лидером по производству сукна в Российской империи. В 1846 году на средства благотворителя П. М. Александрова А. М. Рябинин построил новый каменный храм, а через два года рядом возвели колокольню.

В 1862 году усадьба и фабрика перешли к сыновьям Рябининой Михаилу и Алексею, а также дочери Варваре Андреевне Толстой, которая после смерти братьев стала единственной владелицей.

После реформы 1861 года село стало центром Брынской волости. В 1865 году в селе открыли земскую школу, а через 26 лет, одноклассную церковно-приходскую школу. В 1881 году Брынская фабрика закрылась из-за конкуренции с польскими предприятиями.

После смерти В. А. Толстой имущество перешло к её детям Александру Владимировичу и Наталье Владимировне. В 1910 году в Брынь с семьёй переехал писатель М. М. Пришвин.

После революции село Брынь стало колхозом. В советское время усадебные постройки использовались в хозяйственных целях, пока не пришли в упадок.