Вяркяйский дворец располагается в 7 км от центра Вильнюса в парке Варкяй — поэтому строение и получило такое название. Прообразом современного дворца выступило деревянное строение XIV века, которое находилось в этом же месте и использовалось в качестве резиденции епископа. Земельный участок епископу подарил польский король Владислав II Ягайло.
Сражение 1700 года полностью разрушило здание, и на его месте возвели каменный дворец, который в дальнейшем выкупил епископ Игнатий Масальский. Но и этот дворец пострадал от наполеоновских войн. Петр Витгенштейн выкупил его в 1840 году, начав масштабные реставрационные работы. После того как генерал-фельдмаршал скончался, дворец пришел в запустение и был восстановлен только в период СССР.
На текущий момент в стенах дворца работает Институт ботаники — НИИ в составе литовской Академии наук.
Сегодня территория вокруг Вяркяйского дворца — любимое место для прогулок у туристов и местных жителей. Отдыхающие устраивают пробежки, катаются на велосипеде. С вершины холма, где возвышается дворец, открывается красивый вид на окружающие окрестности, реку и леса. Также в парке есть часовни, небольшие водопады, водяная мельница с лестницей.