В 1750-1751 годах на месте деревянного здания был возведен храм Смоленской иконы Божией Матери с приделами, посвященными иконе Софии, Премудрости Божией, и трем святителям: Василию Великому, Григорию Богослову и Иоанну Златоусту.

В 1831-1832 годах, по данным клировых ведомостей в 1834 году, на средства прихожан были перестроены трапезная часть и колокольня. Храм имел пять глав, а боковые входы украшали портики на четырех дорических колоннах. Над портиками находились полукруглые окна, над которыми на стенах располагались иконы московского письма. Трапезная часть храма была украшена небольшими фронтонами с обеих сторон. Алтарь окружали четыре колонны дорического ордера. Колокольня была трехъярусной: первые два яруса имели четырехугольную форму, а третий был круглым. В 1911 году старый иконостас заменили новым в стиле ампир. Среди икон особо почитались образы Божией Матери: Смоленская и Тихвинская.

До наших дней сохранилась церковная ограда с угловой башенкой-часовней. Одним из известных священников XIX века, служивших в храме, был протоиерей Алексий Родионович Воронцов. Он служил в идигитриевском храме 24 года, с 10 февраля 1876 года по 10 октября 1899 года. Окончив Московскую Духовную Академию со степенью магистра в 1846 году, Воронцов был профессором Рязанской и затем Калужской семинарий, а также секретарем Калужской духовной консистории. В 1871 году он был рукоположен во иерея и после 28 лет службы в 1899 году был уволен за штат по старости. Одигитриевский храм являлся приходским для семьи Циолковских, а последний настоятель, протоиерей Иоанн Сперанский, был близким другом ученого К. Э. Циолковского. В настоящее время храм переоборудован в жилой дом и используется как переселенческий фонд Городской управы.

С 1991 года Одигитриевский храм признан памятником архитектуры и градостроительства местного значения согласно решению Калужского облисполкома № 35 от 4 февраля 1991 года.