Las primeras menciones de la iglesia de Cosme y Damián en Barysh se encuentran en los libros de registro del rey Mijaíl Fiódorovich y del patriarca Filaret Nikitich y datan del inicio del siglo XVII, cuando la iglesia fue devastada por "gente lituana". En el siglo XVIII, la iglesia de madera fue restaurada en 1744 por el terrateniente Petr Afanásievich Bakhtin. A principios del siglo XIX, se había deteriorado, y entre 1829 y 1834, el coronel Mijaíl Petrovich Bakhtin construyó un templo de piedra en honor a los santos Cosme y Damián.

El templo está realizado en estilo imperio. El elemento principal de su arquitectura es el alto cubo de la iglesia con un macizo tambor circular y una cúpula semiesférica. A los lados del cubo se adosaban los portales de cuatro columnas, que ahora se han perdido. También se han perdido las cúpulas de la iglesia y del campanario, así como muchos detalles arquitectónicos. El campanario de tres niveles, que se eleva sobre el edificio, es inusual. Su alto cuadrado con arcos y un macizo ático servía como entrada al templo, sobre él se encontraba un cuadrado más pequeño para el toque de campanas con aberturas arqueadas, rematado por un nivel cilíndrico con techo de cúpula.

Junto a la iglesia se encuentra la tumba de Mijaíl Petrovich Bakhtin (1768-1838). En su juventud, sirvió en el Regimiento de Dragones de Pskov, se enamoró de una joven que se convirtió en su prometida, pero murió trágicamente antes de la boda. Bakhtin sufrió mucho por la pérdida y enfermó, pero logró recuperarse. Al retirarse con el rango de coronel, regresó a su finca. Bakhtin participó activamente en la preparación de la milicia para la Guerra Patriótica de 1812 y fue condecorado con la Orden de San Vladímir de IV clase. En 1833, sin herederos, donó 1,5 millones de rublos para la creación de un cuerpo de cadetes en Orel. Más tarde, donó otros 10,000 rublos y vendió su propiedad, dirigiendo los fondos al cuerpo de cadetes de Orel. El emperador Nicolás I lo condecoró con la Orden de San Vladímir de II clase y le otorgó el título de general de caballería. El cuerpo de cadetes pasó a llamarse Bakhtin. En la tumba de Bakhtin había anteriormente un monumento en forma de cruz con la figura de un guerrero, pero ahora solo queda el pedestal. En 2005, se instaló una nueva losa de granito negro en la tumba con una inscripción en transliteración.

En noviembre de 2008, el templo, que se encontraba en ruinas, fue recreado en otro lugar. La nueva iglesia de Juan de Kronstadt en Bryansk repite casi completamente la apariencia de la iglesia de Cosme y Damián en Barysh, excepto por el campanario más alto de cuatro niveles.