В 1844 году в селе благодаря усилиям прихожан была построена холодная деревянная церковь на каменном фундаменте, посвященная Святой Троице. Здание включало деревянную колокольню и второй престол во имя Михаила Архангела, располагавшийся под деревянной часовней в центре храма, и могло вместить до 800 человек. Церковь была освящена в 1852 году, хотя некоторые источники указывают на 1851 год. В состав причта входили священник и диакон, которые жили в отдельных домах, а также псаломщик, для которого снимали квартиру. В 1875 году открылась смешанная земская школа, хотя есть данные, что это произошло в 1871 году. При храме действовали церковно-приходское попечительство и небольшая библиотека. В 1891 году начала работу женская церковно-приходская школа.

В советское время Крепость Узень была малозаметным селом Куриловского сельсовета и входила в состав колхозов более крупного соседа. К моменту революции Троицкая церковь, причтовые дома и приходская школа пришли в упадок, были закрыты и позже разрушены.