Василий Хлудов родился 16 февраля 1841 года в семье Алексея Ивановича Хлудова, владельца текстильной фабрики. Он окончил Петропавловское училище в Москве, а затем изучал естественные и медицинские науки в Московском государственном университете. Также он два года изучал химию в Гейдельбергском университете. Хлудов был музыкально одарен, играл на фортепьяно и органе, и владел тремя языками.

Получив наследство, Василий вложил значительную часть в покупку и развитие земель в районе Сочи в 1892 году. Он собирал уникальные ботанические коллекции, выписывая растения со всего мира, и надеялся на обильные урожаи с 120 десятин садов, где выращивал крымские яблони, гранаты и масличные деревья. Однако его планы не оправдались, и имение «Раздольное» пришлось продать из-за убытков.

На оставшейся земле, близкой к морю, Хлудов начал разбивать парк и в 1896 году построил двухэтажную дачу в стиле модерн по проекту архитектора Льва Кекушева. Парк был завершен 1 июля 1898 года и стал первым городским парком в Сочи, известным как Хлудовский.

В 1898 году он подарил орган работы Фридриха Ладегаста малому залу Консерватории, который позже передали в музей музыкальной культуры имени М.И. Глинки.

В 1909 году Хлудов продал дачу Марье Федоровне Золиной, жене губернского секретаря. Вскоре на территории парка началось строительство первого в России курортно-санаторного комплекса «Кавказская Ривьера» по предложению министра земледелия Алексея Ермолова. Комплекс, спроектированный архитектором Василием Ионом, первоначально включал два гостиничных корпуса, а к 1913 году был расширен до четырех корпусов с 250 местами. На территории комплекса находились театр на 600 мест, электростанция и водопровод с водой из горных источников.

Из-за доверчивости Хлудов стал жертвой мошенничества, вложив средства в Акционерное общество «Сталь», которое обещало разработку месторождений у Ладожского озера. Однако это оказалось обманом, и он потерял значительные средства.

После неудач в бизнесе Хлудов увлекся спиритизмом, толкованием Евангелия и издавал брошюры на эти темы. Он также интересовался металлургией, медициной, биологией, эндокринологией, садоводством и астрономией. Василий был купцом Первой гильдии, членом правления Егорьевской бумагопрядильной фабрики и потомственным Почетным гражданином.

Василий Хлудов скончался 25 марта 1913 года в Москве. Все имущество он завещал жене, а дом в Хлудовском тупике отдал под детскую больницу.

1 апреля 2004 года в парке «Ривьера» в Сочи был открыт памятник-бюст Хлудову, созданный скульпторами Евгенией Пешковой и Александром Тихомировым, в знак благодарности потомков.