Внук основателя имения Василий Павлович верой и правдой служил отечеству, и после увольнения со службы, приступил к воплощению планов по созданию в родовом гнезде «Васильево» дворцового комплекса…
Существует легенда, что некая цыганка предрекла Василию Павловичу быструю смерть, как только дворец будет возведен. Эти предсказания таинственным образом сбылись: вскоре после завершения строительства замка, в августе 1894 г., Василий Попов скончался. Последние из рода Поповых, жившие в Васильево, внуки Василия Попова, эмигрировали за границу в 1918 г.
В 1925 г. известный педагог Макаренко хотел основать в здании замка свою педагогическую школу («Республику ШКИД»), но по неизвестным причинам осуществить этого не удалось.
