Der hölzerne Tempel an diesem Ort wird erstmals im Jahr 1625 erwähnt, obwohl es Gründe gibt zu glauben, dass er schon früher existierte. Zu dieser Zeit befand sich hier die Staatliche Kazennaja Sloboda, die mit der Aufbewahrung des königlichen Schatzes und anderer Vermögenswerte beschäftigt war. Im Jahr 1676 baute der Kaufmann Daniil Pivovarov eine steinerne Kirche, deren Hauptaltar zu Ehren der Kazan-Ikone der Gottesmutter geweiht wurde. In der Trauerhalle wurden zwei Kapellen eingerichtet, die Nikolai- und die Jakobs-Kapelle, nach letzterer erhielt die Kirche ihren Namen. Das endgültige Aussehen erhielt die Kirche im zweiten Viertel des 19. Jahrhunderts nach umfangreichen Umbauten.

Ursprünglich hatte der steinerne Tempel des 17. Jahrhunderts das für diese Zeit charakteristische Aussehen: eine fünfkuppelige Kirche mit Kokoschniks und Fassaden, die mit figürlichem Ziegelwerk verziert waren. Der schiefe Glockenturm auf der Westseite wurde in der Mitte des 18. Jahrhunderts durch einen dreigeschossigen Barockturm ersetzt. In den Jahren 1831 und 1833 erhielt die Kirche anstelle der fünf Kuppeln eine breite Kuppel auf einem Tambour mit großen Fenstern, die drei Altarapsiden wurden durch eine breite ersetzt, die Ziegeldekoration der Fassaden wurde entfernt, und das Gebäude erhielt einen zurückhaltenden Empire-Stil, wobei die Basis des 17. Jahrhunderts erhalten blieb. Die Arbeiten zur Umgestaltung der Kirche wurden vom Kaufmann Ivan Matveevich Jarzew beauftragt, der zu dieser Zeit Bürgermeister von Moskau war. In den Jahren 1841 und 1844 renovierte die Kaufmannswitwe Tatjana Ivanowna Tumakowa die Trauerhalle und die Kapellen im Empire-Stil.

Zu Beginn des 20. Jahrhunderts gab es an der Jakobuskirche eine Gemeindepflege für die Armen und ein kleines Altenheim. Im Jahr 1932 wurden die Gottesdienste eingestellt, und das Aussehen der Kirche veränderte sich stark: Rohre, Anbauten, Treppen erschienen, im Inneren wurden eine Garage und eine mechanische Werkstatt untergebracht. Im Laufe der Zeit stürzte die Kuppel ein, das Dach wuchs mit Bäumen zu, in den Wänden traten ernsthafte Risse auf, und die Kirche verwandelte sich praktisch in eine Ruine. Erst im Jahr 1995 wurden die Gottesdienste wieder aufgenommen, und später wurde der Tempel restauriert. Zur gleichen Zeit wurde die Gasse, die ursprünglich Jakobs-Gasse hieß und 1961 in die Elizarowa-Straße umbenannt wurde, in den 1990er Jahren in Jakowoapostolskaja umbenannt.