В 1337–1382 гг. Троками правил литовский князь Кейстут, сын Гедимина. Именно Кейстут в 1375 году перенес столицу Литвы за озеро, в Новые Троки, там он возвел так называемый Островной замок, чтобы защититься от рыцарей Тевтонского ордена, часто нападавших на княжеские владения. Чтобы построить новую крепость, три заболоченных островка искусственно объединили в один, сделав насыпи из гравия и камней. По сути, так и появился Тракайский замок.

Вскоре здание было сожжено, однако сыну Кейстута князю Витовту удалось его восстановить. Строительство завершилось в 1409 г., а новая крепость стала самой мощной и величественной во всем княжестве.

К концу XVI в. Тракай постепенно перестал играть значительную роль в политической жизни Литвы, князья оставили крепость, и она стала приходить в упадок. Позднее в Тракай ссылали опальных представителей знати, а замок использовали как тюрьму.