En la ciudad de Orlé no había una catedral adecuada, lo que llevó al obispo Smaragd a considerar la construcción de un nuevo templo más espacioso en la residencia episcopal. La catedral de Borisoglebsk era demasiado pequeña e incómoda, la de San Pedro y San Pablo estaba en constante reparación, y la catedral de la Asunción en la Casa Arzobispal tampoco podía albergar a todos los que deseaban asistir a los servicios episcopales. Sin embargo, tras el traslado del obispo a la diócesis de Riazán en 1858, los planes no se llevaron a cabo.

Bajo el obispo Policarpo (Radkevich) (1858-1867), el 5 de junio de 1860 comenzó la construcción de una catedral episcopal de cinco cúpulas de ladrillo en honor a la Santísima Trinidad, que fue consagrada por el obispo Juvenal (Karyukov) (1876-1882) el 29 de junio de 1879. Se gastaron 200 mil rublos en la construcción.

La catedral se erigió en el territorio del Jardín Superior de la Casa Arzobispal según el proyecto del arquitecto N. Efimov. En 1865, el arquitecto Maevski, que llegó para inspeccionar la iglesia de Pokrov que se había derrumbado, prohibió la construcción de las cúpulas de la catedral. A petición del obispo, se propuso un proyecto de cúpulas de madera, que debían ser enyesadas por dentro y revestidas de hierro por fuera.

En la década de 1930, los bolcheviques destruyeron la catedral de la Trinidad. Hoy en día, solo se conservan los sótanos bajo los ábsides del altar.