Церковь Николая Чудотворца, находящаяся в центре села на правом берегу реки Ипуть, была построена в 1815 году по заказу помещика майора Ф.Д. Ширая и его супруги Прасковьи Петровны. Архитектором, скорее всего, был Джакомо Кваренги, хотя некоторые исследователи считают, что автором проекта мог быть Н.А. Львов. Известно, что после смерти одного из своих сыновей Прасковья Петровна поселилась при церкви и жила там до своей кончины в 1845 году, соблюдая строгий монашеский обет. Кирпич и тес для строительства Никольского храма доставляли по реке на плотах. Кладка оказалась настолько прочной, что в годы гонений на церковь удалось разрушить лишь часть здания. После закрытия и разграбления собор был передан районному отделу образования. Впоследствии в нем разместили школьные мастерские, а затем склад для удобрений. Сегодня церковь в Казаричах относится к приходу храма Рождества Пресвятой Богородицы в поселке Гордеевка. По благословению епископа Брянского и Севского Феофилакта в Казаричах возрождается православная община.