Das Kloster wurde 1444 von dem heiligen Pafnutij Borovski auf einem Hügel am Zusammenfluss der Flüsse Istrema und Protva gegründet. Die Geschichte seiner Gründung ist mit dem mongolisch-tatarischen Überfall verbunden: Der Großvater von Pafnutij, ein Tatar, nahm das Christentum unter dem Namen Martin an und wurde der Gründer einer frommen Familie, aus der der zukünftige "Leuchter" des Glaubens hervorging. Nach dem Tod von Pafnutij wurde das Kloster von seinem Schüler, dem heiligen Iosif Wolotskij, geleitet, der, da er keine Unterstützung von der Bruderschaft bei der Annahme der gemeinschaftlichen Regel fand, das Iosifo-Wolokolamskij-Kloster gründete.

An der Stelle der ersten Holzkirche wurde 1467 die weiße Steinkirche der Geburt Christi errichtet, die nicht erhalten geblieben ist. Die Malerei dieser Kirche war das erste bekannte Werk des großen Ikonenmalers Dionysius, das unter der Leitung des Ältesten des Simonow-Klosters, des Ikonenmalers Mitrophan, entstand.

Im Jahr 1586 wurde die Kirche fast vollständig abgerissen, und an ihrer Stelle wurde auf Befehl von Zar Fjodor Iwanowitsch ein neuer fünfkuppeliger Tempel errichtet, dessen Fundament Blöcke mit Malereien aus dem 15. Jahrhundert enthielt. Fragmente der Malereien von Mitrophan und Dionysius sind erhalten geblieben und befinden sich im Zentralen Museum für alte russische Kultur und Kunst namens Andrej Rubljow in Moskau sowie in der Borowsker Filiale des Kaluga Staatlichen Regionalmuseums.

Im 16. Jahrhundert wurde das Kloster von Steinmauern und Befestigungen umgeben, wodurch es zu einer mächtigen Grenzfeste wurde. Damals wurde auch ein steinernes Speisehaus mit der Kirche der Geburt Christi erbaut, und 1523 die Glockenturm.

Die geistliche Autorität von Pafnutij zog viele Menschen in das Kloster. Große Fürsten wie Wasilij II., Iwan III., Wasilij III., die Zaren Iwan IV. der Schreckliche, Fjodor Iwanowitsch, Michail Romanow und Alexej Michailowitsch sowie die Fürsten Lykovy-Obolenskie, Repniny, Volkonskie besuchten oft die Abtei zum Gebet.

In der Zeit der Wirren befand sich das Kloster auf dem Weg der polnisch-litauischen Eroberer unter der Führung von False Dmitrij II. und wurde zum Schauplatz blutiger Ereignisse, deren Heldentum der Verteidiger der Abtei in die Geschichte einging, und die Stadt Borowsk erhielt ein neues Wappen. Das Kloster wurde auch von den Ereignissen der Kirchenspaltung betroffen: Der Protopop Awakum, der Inspirator der alten Kirchenordnung, wurde hier zweimal in Gewahrsam gehalten.

Im Jahr 1812, während des Krieges gegen Napoleon, wurde das Kloster geplündert und teilweise zerstört. Der Große Vaterländische Krieg von 1941-1945 hinterließ ebenfalls seine Spuren in seiner Geschichte: Das Kloster litt erneut, konnte sich jedoch wieder erholen. In der sowjetischen Zeit erlebte die Abtei die schwerste Zeit: Nach der Verstaatlichung und der Vertreibung der Mönche im Jahr 1919 wurde das Kloster fast zerstört.

Die Wiederherstellung begann in den 1960er Jahren, als die Restauratoren mit vielen Schwierigkeiten konfrontiert waren: Es mussten neue Fundamente gegossen, Wände wiederhergestellt und Kirchen restauriert werden.

Die moderne Geschichte des Klosters begann 1991 mit der Rückkehr der Mönche und der Wiederaufnahme regelmäßiger Gottesdienste. Heute ist das Kloster aktiv: In seinen Kirchen finden täglich Gottesdienste statt, die Zahl der Bewohner wächst, und die Formen des sozialen Dienstes werden verbessert.