Cette unique construction à trois niveaux dans le style du néoclassicisme tardif se compose d'un étage de soubassement en pierre carré, sur lequel s'élève une rotonde en bois avec de délicates colonnes. Les colonnes forment une large terrasse couverte au deuxième étage, et le niveau supérieur est entouré d'une autre colonnade. Le bâtiment est couronné d'un toit avec des lucarnes et un dôme, et des escaliers en demi-cercle mènent à l'entrée. Le portique est décoré d'une paire de colonnes doubles.

Les données précises sur la construction du bâtiment ne se sont pas conservées. Certains historiens pensent qu'il pourrait avoir été conçu par l'architecte M.F. Kazakov, mais il n'existe aucune preuve documentaire à cet égard. Dans la littérature sur l'histoire de Moscou, il est avancé que le bâtiment a été offert par Catherine II au comte A.G. Orlov-Tchesmenski et est devenu une partie de sa résidence d'été.

Selon d'autres sources, le terrain n'a jamais appartenu aux Orlov, ce qui est confirmé par le fait que la « colombier », partiellement construite en bois, ne figure pas parmi les constructions survivantes après la guerre patriotique de 1812.

L'origine du nom moderne du bâtiment reste également inconnue. L'une des versions suggère qu'il est lié à son apparence inhabituelle, une autre, que le bâtiment a effectivement été utilisé comme colombier.

Avant la révolution, le « colombier » appartenait au sculpteur K.F. Kraht, qui y avait installé son atelier. À l'époque soviétique, le bâtiment abritait la commune artistique « Vénok » et une unité militaire. À la fin des années 1950, après restauration, une bibliothèque pour enfants y a ouvert. Depuis le début des années 1990, le « colombier » abrite le club « Comte Orlov ».

Il existe une légende sur un passage souterrain menant du monastère de Danilov au manoir, et une partie de cette légende a été partiellement confirmée lors de l'aménagement du parc en 1996. En 1999, la restauration du bâtiment a été achevée : les fondations ont été renforcées, les façades et les intérieurs ont été restaurés, et les plans ronds du deuxième étage et du belvédère ont été préservés.