В 1890 году на территории больничного комплекса было возведено двухэтажное кирпичное здание, которое ныне располагается на Московской улице и обращено фасадом на юг. Центральная часть здания, увенчанная широким куполом, соединялась с двумя большими двухэтажными флигелями. Здесь находился приют для неизлечимо больных, страдающих раковыми заболеваниями и саркомой.

Приют был построен на средства Л.В. Вышеславцева, который долгое время возглавлял губернскую земскую управу. Из его пожертвований 80 тысяч рублей было потрачено на строительство приюта на сто человек, а 120 тысяч рублей, на его содержание. Город предоставил землю для строительства. Нижний этаж здания был предназначен для мужского отделения, а верхний, для женского. Левое крыло использовалось для платных пациентов, правое, для всех престарелых. Просторные и удобные палаты располагались на солнечной стороне, а коридоры, на северной. На каждого человека приходилось не менее 6 кубических метров воздуха.

В приюте были тщательно продуманы условия жизни, лечения и духовной заботы. Для больных была организована библиотека, а также два сада для прогулок. Для поддержания душевного равновесия А.В. Вышеславцев основал Елизаветинскую церковь.

В честь Л.В. Вышеславцева, попечителя приюта, и А.В. Вышеславцева, основателя церкви, в покоях были открыты две «вечные кровати». В Елизаветинском приюте свои последние годы провел известный врач С.К. Оленин.