После Грюнвальдской битвы в 1410 г., когда был разбит главный соперник Литвы – Тевтонский Орден, замок утратил свое военное значение и стал резиденцией великих князей литовских. Там устраивались приемы послов, пышные пиры. Впоследствии его использовали как место заточения неугодных сановников. С конца XVII века замок начал разрушаться. Реставрационные работы велись с перерывами почти весь XX век. В настоящее время замок большей частью восстановлен, его посещает множество туристов.
Однажды летним вечером, когда поднялся сильный ветер и начался дождь, сторож замка вдруг обнаружил, что главные входные ворота, а также ворота переднего укрепления не заперты. Это его крайне удивило, поскольку за долгие годы службы он никогда не забывал закрывать их. Сторож, выйдя, достал ключи и тут заметил на глади озера какое-то странное белое свечение. Подойдя ближе к берегу, чтобы лучше разглядеть его, сторож похолодел от страха: свечение внезапно приняло форму человеческой головы в средневековом рыцарском шлеме. Он в ужасе хотел бежать к замку, но тут заметил еще одно свечение на фоне одной из крепостных башен. Оно было похоже на фигуру человека в полный рост, причем в одной руке у него был меч, направленный в сторону озера. Лица разглядеть не удалось, так как призрак был бесформенным, размытым. Потом фигура медленно опустилась на землю и исчезла в воротах замка.
Утром, проснувшись на своем обычном месте, сторож поначалу решил, что это всего лишь кошмарный сон. Однако оказалось, что он спал в плаще, и этот плащ был все еще мокрым от дождя, шедшего накануне. Впоследствии этот же сторож еще несколько раз видел фигуру человека с неясным лицом. Некоторые жители городка Тракай тоже ее наблюдали. Она медленно спускалась по стене и исчезала в воротах замка.
По легенде великий князь Витовт в одном из сражений отрубил голову немецкому рыцарю-крестоносцу и бросил ее в воды озера, на острове которого и стоит замок. Озеро поэтому называется «Гальве» — «голова». Поэтому местные жители считают, что фигура человека с неясным лицом – это привидение князя Витовта.
Рядом с замком есть еще два острова: на одном из них в средние века казнили осужденных, а на другом собирались их родственники, оплакивая участь близких. Местные жители уверены, что души казненных бродят в окрестностях того места, где оборвались их жизни. Вот так и появились привидения в литовской воде.
