El monasterio fue fundado en 1444 por el venerable Pafnutio Borovski en una elevación en la confluencia de los ríos Istrema y Protva. Su historia está relacionada con la invasión mongol-tártara: el abuelo de Pafnutio, un tártaro, adoptó el cristianismo ortodoxo con el nombre de Martín, convirtiéndose en el fundador de una piadosa familia, de la cual surgió el futuro "luz" de la fe. Tras la muerte de Pafnutio, el monasterio fue dirigido por su discípulo, el venerable José de Volokolamsk, quien, al no encontrar apoyo entre la comunidad para aceptar la regla cenobítica, fundó el monasterio de José de Volokolamsk.

En el lugar de la primera iglesia de madera, en 1467 se construyó la catedral de piedra blanca de la Natividad, que no ha sobrevivido. La pintura de esta catedral fue la primera obra conocida del gran iconógrafo Dionisio, realizada bajo la dirección del anciano del monasterio Simón, el iconógrafo Mitrofán.

En 1586, la catedral fue casi completamente desmantelada, y en su lugar, por orden del zar Fiódor Ivánovich, se construyó un nuevo templo de cinco cúpulas, cuyos cimientos incluían bloques con pinturas del siglo XV. Fragmentos de las pinturas de Mitrofán y Dionisio se han conservado y se encuentran en el Museo Central de Cultura y Arte Antiguo Ruso de Andréi Rublev en Moscú y en la filial de Borovsk del Museo Regional de Kaluga.

En el siglo XVI, el monasterio fue rodeado por muros de piedra y fortificaciones, convirtiéndolo en una poderosa fortaleza fronteriza. En ese tiempo, se construyó un refectorio de piedra con la iglesia de la Natividad de Cristo, y en 1523, un campanario.

La autoridad espiritual de Pafnutio atraía a muchas personas al monasterio. Grandes príncipes como Vasili II, Iván III, Vasili III, los zares Iván IV el Terrible, Fiódor Ivánovich, Mijaíl Románov y Alexéi Mijáilovich, así como los príncipes Lyukov-Obolenski, Repnin y Volkonski, visitaban a menudo la comunidad para orar.

Durante el tiempo de la confusión, el monasterio se encontró en el camino de los conquistadores polaco-lituanos liderados por el falso Dmitri II y se convirtió en el escenario de sangrientos eventos, como resultado de los cuales el heroísmo de los defensores de la comunidad quedó en la historia, y la ciudad de Borovsk recibió un nuevo escudo. El monasterio también fue afectado por los eventos del cisma de la iglesia: el proto-papa Avvakum, inspirador del antiguo orden eclesiástico, fue encarcelado aquí en dos ocasiones.

En 1812, durante la guerra con Napoleón, el monasterio fue saqueado y parcialmente destruido. La Gran Guerra Patria de 1941-1945 también dejó su huella en su historia: el monasterio sufrió nuevamente, pero logró renacer. Durante el período soviético, la comunidad atravesó su momento más difícil: tras la nacionalización y el exilio de los monjes en 1919, el monasterio fue casi destruido.

La restauración comenzó en la década de 1960, cuando los restauradores se enfrentaron a numerosas dificultades: fue necesario verter nuevos cimientos, restaurar las paredes y restaurar las iglesias.

La historia moderna del monasterio comenzó en 1991 con el regreso de los monjes y la reanudación de los servicios regulares. Hoy en día, el monasterio está en funcionamiento: en sus iglesias se celebran servicios diariamente, aumenta el número de residentes y se perfeccionan las formas de servicio social.