Diese einzigartige dreigeschossige Bauweise im Stil des späten Klassizismus besteht aus einem quadratischen Steinsockelgeschoss, auf dem eine hölzerne Rotunde mit eleganten Säulen emporragt. Die Säulen bilden eine breite überdachte Terrasse im zweiten Stock, und die oberste Etage ist von einer weiteren Kolonnade umgeben. Das Gebäude ist mit einem Dach mit Dachgauben und einer Kuppel gekrönt, und zu dem Eingang führen halbkreisförmige Treppen. Der Portikus ist mit einem Paar doppelter Säulen geschmückt.

Genauere Daten zum Bau des Gebäudes sind nicht erhalten geblieben. Einige Historiker glauben, dass es von dem Architekten M.F. Kazakov entworfen worden sein könnte, jedoch gibt es dafür keine dokumentarischen Beweise. In der Literatur zur Geschichte Moskaus wird die Meinung geäußert, dass das Gebäude von Katharina II. dem Grafen A.G. Orlow-Tschesmenski geschenkt wurde und Teil seiner Sommerresidenz wurde.

Laut anderen Angaben hat das Grundstück nie den Orlows gehört, was dadurch bestätigt wird, dass die "Taubenschlag", die teilweise aus Holz gebaut wurde, nicht zu den erhaltenen Bauwerken nach dem Vaterländischen Krieg von 1812 zählt.

Die Herkunft des modernen Namens des Gebäudes bleibt ebenfalls unbekannt. Eine der Versionen besagt, dass es mit dem ungewöhnlichen äußeren Erscheinungsbild in Verbindung steht, eine andere, dass das Gebäude tatsächlich als Taubenschlag genutzt wurde.

Vor der Revolution gehörte der "Taubenschlag" dem Bildhauer K.F. Kracht, der hier sein Atelier einrichtete. In der Sowjetzeit beherbergte das Gebäude die künstlerische Kommune "Wenok" und eine militärische Einheit. Ende der 1950er Jahre, nach der Restaurierung, wurde hier eine Kinderbibliothek eröffnet. Seit Anfang der 1990er Jahre befindet sich im "Taubenschlag" der Club "Graf Orlow".

Es gibt eine Legende über einen unterirdischen Gang, der vom Danilow-Kloster in das Herrenhaus führt, und teilweise wurde dies bei der Gestaltung des Parks im Jahr 1996 bestätigt. Im Jahr 1999 wurde die Restaurierung des Gebäudes abgeschlossen: die Fundamente wurden verstärkt, die Fassaden und Innenräume restauriert, die runden Pläne des zweiten Stocks und des Belvedere blieben erhalten.