В прошлом деревня была рабочей слободой, возникшей в середине XVIII века, когда началась разработка бело-розового Тивдийского мрамора. Она находилась в двух километрах от старинного карельского села Тивдия. Этот мрамор, обладая богатой цветовой гаммой от почти белого до темно-вишневого, быстро стал популярным в отделке дворцов и храмов Петербурга. К середине XIX века в Белой Горе была только одна деревянная церковь, перестроенная из часовни. Из-за крупных государственных заказов на мрамор Тивдию и Белую Гору часто посещали высокопоставленные чиновники. В 1853 году сюда прибыл Министр уделов граф Л. А. Перовский. Он обнаружил, что старая церковь не вмещает всех прихожан, и благодаря его ходатайству было получено разрешение на строительство нового каменного храма. Проект был разработан статским советником Константином Тоном, и храм освятили в 1856 году. Его отличает величественная простота и гармония, выделяющие его среди других храмов Олонецкой губернии.

В монографии Т. А. Славиной «Константин Тон» упоминается проект церкви при Тивдийской мраморной ломке, что делает её единственным памятником в Карелии, созданным по индивидуальному проекту Тона. Казанская церковь, это небольшой бесстолпный храм с колокольней над западным входом. Фасады лаконичны, с выразительными декоративными деталями, характерными для Тона: сдвоенные окна, пилястры, декоративный барабан, аркатурный пояс и профили карнизов. Стены храма кирпичные и оштукатуренные, использован даже лекальный кирпич. Церковь имеет два кирпичных свода: купольный и полуцилиндрический. На колокольню ведет лестница, выходящая на балкон для хора. У храма три входа: западный, северный и южный, все они имели ступени из местного мрамора, которые сейчас отсутствуют. Подоконники были из полированного мрамора, а карнизы из шунгитовых плит. В настоящее время своды протекают из-за отсутствия кровли, балки перекрытия сохранились частично, осталась только одна кованая решетка на окне. Верх колокольни обшит доской в советское время. На строительство храма было выделено 3423 рубля 70,5 копеек, иконостас и церковная утварь стоили 1450 рублей. В советское время церковь переделали под кинозал, но в 1970-е годы она стала бесхозной и начала разрушаться.