Собор Благовещения Пресвятой Богородицы был возведен в 1810 году поручиком Федором Ивановичем и Евдокией Авраамовной Рахмановыми в стиле русского классицизма. Этот храм известен тем, что в нем служил ныне канонизированный святой преподобноисповедник Рафаил (Шейченко).

Каменный храм с колокольней и оградой был построен в 1810 году теми же Рахмановыми. На этом месте, по архивным данным, деревянный храм существовал в Козельске еще с 1709 года. Колокольня была добавлена позже: по одним сведениям, в 1825 году, по другим, в 1832 году. В 1871 году трапезная часть церкви была расширена и обустроена благодаря стараниям прихожан и церковного старосты, купца Венедикта Петровича Лаврентьева.

Купечество играло значительную роль в жизни храма. Некоторые купеческие семьи завещали проценты с банковских счетов на содержание церковных служителей и поминовение своих родственников. В 1895 году храм получил новый колокол и обновил украшения благодаря пожертвованиям семьи Цыплаковых.

Школа Вырских, основанная дьяконом Феодором Вырским и его дочерью Анной, стала важным явлением в народном образовании. Сначала это была частная школа, где с 1833 года дети обучались грамоте при дьяконском доме. В 1860 году Вырский открыл второе приходское училище в городе. К 1860 году в школе училось 250 детей, включая до 120 девочек. В 1861 году школу посетил известный педагог К.Д. Ушинский. Вырские также трудились в Козельском епархиальном училище и Благовещенской церковно-приходской школе.

Дочь Ф.В. Вырского, Александра Федоровна Вырская, продолжила дело отца и за более чем 50 лет педагогической деятельности в 1902 году была награждена золотой медалью.

Храм был закрыт и разграблен в 1937 году. Рядом с храмом находилось кладбище духовенства и известных людей Козельска, но после 1937 года надгробия были уничтожены.

Во время войны (1941-1942 гг.) в полуразрушенном храме богослужения проводил протоиерей Стефан Акулин. Храм стал единственным действующим в Козельске. Здесь служил преподобный Рафаил (Шейченко), который благоустроил храм, возведя иконостасы и восстановив колокольню. С 1944 по 1948 годы в храме служил игумен Никон (Воробьев).

Возле храма похоронен блаженный молчальник Тит, живший в сторожке при храме в первой половине XIX века, известный своими подвигами молчания и молитвы.

В настоящее время в храме регулярно проводятся всенощные бдения и литургии на все двунадесятые и великие праздники, а также в субботу и воскресенье, на престольные и особо чтимые праздники. По пятницам вечером совершается утреня с чтением акафиста Божьей Матери.