Николай Рябушинский, пятый из братьев Рябушинских, был известен своей расточительностью и эксцентричностью. В 1900 году, после того как он потратил значительную часть своего состояния, братья отстранили его от семейного бизнеса, и над его имуществом была установлена опека. В 1905 году он продал свои доли в семейном хлопчатобумажном товариществе, чтобы издавать журнал «Золотое руно», который стал важным изданием русского символизма. Николай смог привлечь к работе над журналом лучших представителей художественной интеллигенции Москвы. В 1907 году он организовал выставку «Голубая роза», положившую начало одноименному объединению художников-символистов. Через два года он устроил вернисаж современных французских художников, впервые представив московской публике работы Анри Матисса.

Одним из эксцентричных поступков Николая стало строительство виллы в Петровском парке. За строгим неоклассическим фасадом скрывались причудливые интерьеры, поражавшие современников своей экзотической роскошью. Черный лебедь, изображенный на мебели, фарфоре и хрустале, стал символом виллы. Новоселье было организовано с размахом: приглашения украшались вензелем с изображением черного лебедя и надписью «Вилла Черный Лебедь». В саду росли пальмы и орхидеи, разгуливали павлины и фазаны, а у конуры сидел леопард.

Для оформления виллы Николай заказал живописные панно у Павла Кузнецова, лидера «Голубой розы». Холл украшал фриз «Нерожденные младенцы», производивший неприятное впечатление. Виллу украшали редкие предметы, привезенные из путешествий, и коллекция живописи, включавшая работы европейских мастеров и современных художников. На вилле была и мастерская самого Николая, увлекавшегося живописью.

Среди комнат виллы выделялась «бабушкина комната», обставленная в стиле старинного жилища, что контрастировало с современными картинами. В саду Николай планировал построить зверинец, но от этой идеи пришлось отказаться из-за запрета полиции. У входа в сад стоял мраморный саркофаг с фигурой быка, предназначенный для будущей гробницы хозяина.

Вилла часто становилась местом для пышных праздников. Художник Сергей Виноградов вспоминает «Праздник яблоневого цветения», когда обед был сервирован на террасе в цветущем саду, а вечером деревья засветились разноцветными огнями. В другой раз, на Новый год, Николай украсил деревья сотнями лампочек и устроил прием, на котором дарил гостям картины и драгоценности.

В 1915 году вилла сильно пострадала от пожара, уничтожившего значительную часть интерьеров и коллекции живописи, включая фриз Кузнецова и картины «Голубой розы». Однако удалось спасти портрет Валерия Брюсова работы Врубеля.

После пожара Николай продал виллу своему другу, нефтепромышленнику Леону Манташеву, который, по слухам, выиграл ее в карты. На здании сохранился вензель Леона Манташева.