Буйский краеведческий музей был основан в 1946 году благодаря усилиям Павла Михайловича Друлиса. Работая лесным кондуктором, он стал первым представителем Буйского уезда в Костромском научном обществе, изучающем местный край. Путешествуя по уезду, Друлис собирал местные легенды, предметы крестьянского быта, археологические находки и старинные монеты.

В 1922 году в Буе было создано самостоятельное отделение Костромского научного общества. Несмотря на репрессии, которые постигли костромское руководство, краеведы продолжали свою научную деятельность. Официальная регистрация общества в Буе состоялась 18 февраля 1940 года, и осенью того же года было выделено помещение для музея, куда перенесли материалы, собранные братьями Друлис. Во время Великой Отечественной войны музей был закрыт, а его помещение использовалось как склад. Часть экспонатов была разобрана по домам, но большинство осталось на складе. После войны краеведы вновь занялись созданием музея, и особенно активен в этом был П. М. Друлис.

Музей открылся 20 марта 1946 года по решению исполкома городского совета. В его штате было два человека. В феврале 1950 года появились первые экспозиции, и вход в музей был бесплатным. Первым директором стал Павел Михайлович Друлис, который совмещал множество обязанностей. Он проработал до сентября 1953 года, после чего его сменил Матвей Иванович Матасов. В 1966 году музей расширили и провели капитальный ремонт. В июне 1973 года директором стала Тамара Васильевна Ольховик, которая проработала 25 лет. При ней экспозиции были обновлены, а музей расширен.

В 1978 году Буйский музей стал филиалом Костромского объединенного историко-архитектурного музея-заповедника. Городские власти рекомендовали определить его профиль как историко-краеведческий. Под руководством Т. В. Ольховик сотрудники музея активно занимались исследовательской работой, обращались в архивы и вели переписку с краеведами для сбора информации о жителях Буя. В 1997 году музею передали отремонтированное здание бывшего Сбербанка.

Сегодня Буйский краеведческий музей имени Т. В. Ольховик представляет собой комплекс из двух зданий с пристройкой, где расположены основные экспозиции, выставочные залы, гостиная и фонды. Жители и гости Буя могут погружаться в историю края благодаря этому музею.