Esta única construcción de tres niveles en estilo neoclásico tardío consiste en un sótano cuadrado de piedra, sobre el cual se eleva una rotonda de madera con elegantes columnas. Las columnas forman una amplia terraza cubierta en el segundo piso, y el nivel superior está rodeado por otra columnata. El edificio está coronado con un techo con lucernas y una cúpula, y se accede a la entrada a través de escaleras semicirculares. El pórtico está adornado con un par de columnas dobles.

Los datos exactos sobre la construcción del edificio no se han conservado. Algunos historiadores creen que pudo haber sido diseñado por el arquitecto M. F. Kazakov, sin embargo, no hay confirmaciones documentales de esto. En la literatura sobre la historia de Moscú se expresa la opinión de que el edificio fue regalado por Catalina II al conde A. G. Orlov-Chesmensky y se convirtió en parte de su residencia de verano.

Según otros datos, el terreno nunca perteneció a los Orlov, lo que se confirma por el hecho de que la "palomar", parcialmente construida de madera, no figura entre las construcciones que sobrevivieron después de la Guerra Patriótica de 1812.

El origen del nombre moderno del edificio también sigue siendo desconocido. Una de las versiones sostiene que está relacionado con su inusual apariencia exterior, otra, que el edificio realmente se utilizó como palomar.

Antes de la revolución, la "palomar" pertenecía al escultor K. F. Kraht, quien estableció aquí su taller. En la época soviética, el edificio albergó la comuna artística "Vínculo" y una unidad militar. A finales de los años 50, tras la restauración, se inauguró aquí una biblioteca infantil. Desde principios de los años 90, en la "palomar" se encuentra el club "Conde Orlov".

Existe una leyenda sobre un pasadizo subterráneo que conduce del monasterio de Danilov a la mansión, y se encontró una parte de confirmación de esto durante la mejora del parque en 1996. En 1999 se completó la restauración del edificio: se reforzaron los cimientos, se restauraron las fachadas y los interiores, y se conservaron los planos circulares del segundo piso y del belvedere.