La iglesia fue construida entre 1696 y 1703 con fondos del próspero feligrés I. F. Protod'yakonov y corresponde completamente al estilo arquitectónico local de la segunda mitad del siglo XVII. Es un edificio cúbico sin columnas, que originalmente tenía cinco cúpulas, con un altar bajo, dividido en tres ábsides, y con bajos pórticos cerrados en tres lados, de los cuales el sur fue desmantelado. Una característica del templo es el pórtico occidental, más alto y ancho, con un original vestíbulo, que, lamentablemente, no se ha conservado. Tampoco ha sobrevivido la antigua cúpula de cinco partes de la iglesia. Entre 1772 y 1781, tras un incendio, fue reemplazada por un pequeño octógono luminoso típico de la época, con una cúpula en miniatura sobre un cuello delgado, instalado sobre un nuevo techo con bóveda de ocho tramos y trompas en las esquinas.

El templo de los santos Antonio y Teodosio de los Cuevas en Veliky Ustyug es un monumento arquitectónico, construido en 1703. Sirvió como iglesia de verano para la parroquia del templo de San Jorge el Victorioso, que se encuentra al otro lado de la calle. Durante la época soviética, el edificio fue utilizado como almacén industrial. Actualmente, por iniciativa de la parroquia del templo de San Jorge, se están llevando a cabo trabajos de restauración en la iglesia y se celebran regularmente servicios de oración.

El 28 de octubre de 2016, se instaló una cruz en la cúpula de la iglesia de Antonio y Teodosio de los Cuevas. La ceremonia de bendición de la cruz fue realizada por el secretario de la administración diocesana de la diócesis de Veliky Ustyug, el protoiereo Vadim Tyazhenkov. Le acompañaron el rector del templo de San Jorge el Victorioso, el sacerdote Feodor Fomin, el rector del templo de la icono de la Madre de Dios de Vladimir en la aldea de Bobrovnikovo, el sacerdote Dmitry Ryzhkov, y el rector del templo del venerable Simeón el Estilita, el sacerdote Ilya Fomin.