Василий Дмитриевич родился 26 марта 1819 года в селе Малое Листвено. Он был младшим братом известного брянского помещика Якова Дмитриевича, владельца усадьбы Новая Романовка.

В 1836 году Василий Дмитриевич окончил Императорский Царскосельский лицей с серебряной медалью и в том же году начал работать чиновником в канцелярии Комитета министров. В 1838 году его назначили секретарём при директоре Департамента государственного казначейства. В 1841 году он получил звание камер-юнкера двора Его Императорского Величества. С 1846 года Василий Дмитриевич стал почётным смотрителем Погарского уездного училища, а с 1849 года, попечителем Черниговских богоугодных заведений. В 1857 году он был избран Городницким Уездным Предводителем дворянства, а в 1865 и 1870 годах занимал должность Екатеринославского губернатора. В 1870 году его назначили Могилёвским губернатором.

Василий Дмитриевич был женат дважды: сначала на Софье Алексеевне Свечиной, затем на Александре Александровне Милорадович. У него было пять сыновей и четыре дочери. Василий Дмитриевич скончался 20 октября 1892 года в Киеве и был похоронен в селе Великое Листвено, Городницкого уезда.