En 1844, grâce aux efforts des paroissiens, une église en bois froide sur fondation en pierre, dédiée à la Sainte Trinité, a été construite dans le village. Le bâtiment comprenait un clocher en bois et un second autel au nom de l'archange Michel, situé sous une chapelle en bois au centre du temple, et pouvait accueillir jusqu'à 800 personnes. L'église a été consacrée en 1852, bien que certaines sources indiquent 1851. Le clergé comprenait un prêtre et un diacre, qui vivaient dans des maisons séparées, ainsi qu'un psalmiste, pour lequel un appartement était loué. En 1875, une école mixte de district a ouvert, bien qu'il existe des données indiquant que cela s'est produit en 1871. Une œuvre de bienfaisance paroissiale et une petite bibliothèque fonctionnaient près du temple. En 1891, une école paroissiale pour filles a commencé ses activités.

À l'époque soviétique, la Forteresse d'Ouzène était un village peu remarquable du conseil rural de Kourilovski et faisait partie des kolkhozes d'un voisin plus grand. Au moment de la révolution, l'église de la Trinité, les maisons du clergé et l'école paroissiale étaient en déclin, fermées et plus tard détruites.