Die ersten Erwähnungen der Kirche von Kosmas und Damian in Barysch finden sich in den Katasterbüchern von Zar Michael Fjodorowitsch und Patriarch Filaret Nikititsch und stammen aus dem frühen 17. Jahrhundert, als die Kirche von "litauischen Leuten" verwüstet wurde. Im 18. Jahrhundert wurde die hölzerne Kirche 1744 von dem Gutsbesitzer Peter Afanasjewitsch Bachtin wiederhergestellt. Zu Beginn des 19. Jahrhunderts war sie baufällig, und zwischen 1829 und 1834 baute Oberst Michael Petrowitsch Bachtin an ihrer Stelle einen steinernen Tempel zu Ehren der heiligen Kosmas und Damian.

Der Tempel ist im Empire-Stil gestaltet. Das Hauptelement seiner Architektur ist der hohe Würfel der Kirche mit einer massiven runden Lichtkuppel und einer halbkugelförmigen Kuppel. An die Seiten des Würfels schlossen sich die heute verlorenen vier Säulenportiken an. Auch die Kuppeln der Kirche und des Glockenturms sind nicht erhalten geblieben, viele architektonische Details sind verloren gegangen. Der dreigeschossige Glockenturm, der über dem Gebäude emporragt, ist ungewöhnlich. Sein hoher quadratischer Teil mit Bögen und einem massiven Attika diente als Eingang zur Kirche, über ihm befand sich ein kleinerer quadratischer Teil mit Glockenöffnungen, der mit einem zylindrischen Geschoss mit kuppelförmigem Dach abgeschlossen war.

Neben der Kirche befindet sich das Grab von Michael Petrowitsch Bachtin (1768-1838). In seiner Jugend diente er im Leib-Dragoner-Regiment von Pskow, verliebte sich in ein Mädchen, das seine Verlobte wurde, aber tragisch vor der Hochzeit starb. Bachtin litt schwer unter dem Verlust und erkrankte, konnte sich jedoch erholen. Nach seiner Pensionierung im Rang eines Obersts kehrte er in sein Gut zurück. Bachtin beteiligte sich aktiv an der Vorbereitung der Miliz für den Vaterländischen Krieg von 1812 und wurde mit dem Orden des Heiligen Wladimir IV. Klasse ausgezeichnet. Im Jahr 1833, ohne Erben, spendete er 1,5 Millionen Rubel zur Gründung eines Kadettenkorps in Orjol. Später übergab er weitere 10.000 Rubel und verkaufte sein Anwesen, und die Erlöse wurden dem Orjoler Kadettenkorps zugeführt. Kaiser Nikolaus I. verlieh ihm den Orden des Heiligen Wladimir II. Klasse und ernannte ihn zum Generalmajor der Kavallerie. Das Kadettenkorps wurde nach Bachtin benannt. Auf dem Grab von Bachtin stand früher ein Denkmal in Form eines Kreuzes mit der Figur eines Kriegers, aber jetzt ist nur noch das Podest erhalten. Im Jahr 2005 wurde auf dem Grab eine neue Platte aus schwarzem Granit mit einer Inschrift in Translit angebracht.

Im November 2008 wurde die verfallene Kirche an einem anderen Ort wiederhergestellt. Die neue Kirche des Johannes von Kronstadt in Brjansk ähnelt fast vollständig dem Erscheinungsbild der Kirche von Kosmas und Damian in Barysch, mit Ausnahme des höheren, vierstöckigen Glockenturms.