Эта уникальная трехъярусная постройка в стиле позднего классицизма состоит из квадратного каменного цокольного этажа, на котором возвышается деревянная ротонда с изящными колоннами. Колонны образуют широкую крытую террасу второго этажа, а верхний ярус окружен еще одной колоннадой. Здание увенчано крышей с люкарнами и куполом, а к входу ведут полукруглые лестницы. Портик украшен парой сдвоенных колонн.

Точные данные о строительстве здания не сохранились. Некоторые историки считают, что его мог спроектировать архитектор М. Ф. Казаков, однако документальных подтверждений этому нет. В литературе по истории Москвы высказывается мнение, что здание было подарено Екатериной II графу А. Г. Орлову-Чесменскому и стало частью его летней усадьбы.

Согласно другим данным, участок никогда не принадлежал Орловым, что подтверждается тем, что «голубятня», частично построенная из дерева, не числится среди уцелевших построек после Отечественной войны 1812 года.

Происхождение современного названия здания также остается неизвестным. Одна из версий гласит, что оно связано с необычным внешним видом, другая, что здание действительно использовалось как голубятня.

До революции «голубятня» принадлежала скульптору К. Ф. Крахту, который устроил здесь свою мастерскую. В советское время в здании размещались художественная коммуна «Венок» и воинская часть. В конце 1950-х годов, после реставрации, здесь открылась детская библиотека. С начала 1990-х годов в «голубятне» находится клуб «Граф Орлов».

Существует легенда о подземном ходе, ведущем из Данилова монастыря в особняк, и частичное подтверждение этому было найдено при благоустройстве парка в 1996 году. В 1999 году завершилась реставрация здания: были укреплены фундаменты, отреставрированы фасады и интерьеры, сохранились круглые планы второго этажа и бельведера.