Здание было построено в начале XX века по проекту городского архитектора Н.Н. Карлинского, который также разработал проекты городской библиотеки, женской гимназии и многих других сооружений. Карьера Карлинского завершилась после того, как он убил турецкого консула в Новороссийске.

Князь Борис Борисович Голицын был русским физиком и одним из основоположников сейсмологии. Он также занимался геофизикой и изобрел первый электромагнитный сейсмограф.

После революции здание было национализировано. До Второй мировой войны здесь располагался детский приют, а после войны в нем проживали люди. Около 1970-х годов здание было расселено и долгое время находилось в запустении. В настоящее время руины приведены в относительный порядок и расположены на территории режимного объекта Министерства обороны РФ.