За монастырской оградой, с южной стороны, в 1858 году было основано новое кладбище для захоронения младшей братии и странников. По просьбе благотворителей было решено построить на кладбище храм в честь Всех Святых. Строительство началось в 1861 году, а 9 сентября 1864 года храм был освящен Калужским епископом Григорием. Церковь была каменной, со сводами и с одним куполом. Иконостас был одноярусным.

В советские времена храм был закрыт и разобран. В 2000 году в возрожденном монастыре Оптина Пустынь были проведены работы, которые помогли определить границы нового кладбища и расчистить основания церкви Всех Святых. Местоположение храма было установлено по фотографии конца XIX, начала XX века. На местности ориентиром служил старый дуб. Храм находился южнее этого дерева, у которого со стороны церкви были обрезаны ветви.

В 2003 году начались работы по восстановлению храма на его историческом месте, на сохранившемся фундаменте.