Деревянный храм на этом месте впервые упоминается в 1625 году, хотя есть основания полагать, что он существовал и раньше. В то время здесь находилась Государева Казённая слобода, которая занималась хранением царской казны и другого имущества. В 1676 году купец Даниил Пивоваров построил каменную церковь, главный престол которой был освящён в честь Казанской иконы Божией Матери. В трапезной были устроены два придела, Никольский и Яковлевский, по последнему храм и получил своё название. Окончательный облик церковь приобрела во второй четверти XIX века после значительной перестройки.

Первоначально каменный храм XVII века имел характерный для того времени вид: пятиглавая церковь с кокошниками и фасадами, украшенными фигурным кирпичом. Шатровая колокольня с западной стороны была заменена в середине XVIII века на трёхъярусную барочную. В 1831 и 1833 годах церковь вместо пятиглавия получила широкий купол на барабане с большими окнами, три алтарные апсиды заменили одной широкой, кирпичный декор с фасадов убрали, и здание приобрело сдержанный ампирный стиль, сохранив основу XVII века. Работы по перестройке церкви заказал купец Иван Матвеевич Ярцев, бывший в то время московским городским головой. В 1841 и 1844 годах купчиха Татьяна Ивановна Тумакова обновила в стиле ампир трапезную и приделы.

В начале XX века при Яковлевской церкви действовало приходское попечительство о бедных и небольшая богадельня. В 1932 году богослужения прекратились, и облик церкви сильно изменился: появились трубы, пристройки, лестницы, внутри разместились гараж и механическая мастерская. Со временем купол обрушился, крыша поросла деревьями, в стенах появились серьёзные трещины, и церковь практически превратилась в руины. Лишь в 1995 году богослужения возобновились, а позже храм был отреставрирован. Тогда же переулок, изначально называвшийся Яковлевским, переименованный в 1961 году в улицу Елизаровой, в 1990-х годах стал Яковоапостольским.