Строился в качестве загородной резиденции короля Польши в XVII веке. Несмотря на то, что в последующие два столетия дворец достраивался и дополнялся новыми интерьерами и помещениями, он считается хорошо сохранившимся памятником архитектуры того времени. Обрамлённый обширным садом, дворец представляет собой курдонёр.

После смерти Яна Собеского дворец и прилегающие окрестности принадлежали поначалу потомкам короля, а потом уже и другим знатным землевладельцам из различных аристократических семей. В 1720 году шефство над резиденцией взяла на себя видный польский политический деятель Елизавета Синявская, которая впоследствии расширила покои. Смерть Елизаветы замедлила развитие дворцового комплекса и отделка дворцовых интерьеров затянулась до 1731 года. В период 1730 - 1731 резиденцией владели король Август II Сильный и дочь Елизаветы, Мария Синявская.

Каждый новый хозяин переделывал интерьеры и сады дворца под свой вкус. В 1778 году имение перешло в руки Изабеллы Любомирской. Свой след в истории дворца она оставила под именем «голубой маркизы»[1]. Прозвище была дано, за вклад Изабеллы в развитие дворцового комплекса. По её инициативе и за её счёт, на территории ансамбля в неоклассическом стиле были возведены кордегардия, кухонный и ванный корпуса. Работы велись под руководством архитектора Шимона Цуга.

В 1805 году Станислав Костка Потоцкий открыл во дворце один из первых в Польше музеев[2]. Потоцкие перестроили придворную церковь св. Анны и соорудили рядом с дворцом фамильную усыпальницу.

Во время Второй мировой войны собрания Вилянувского музея были похищены нацистами, но по окончании войны они были возвращены в Польшу.