Каменный замок в Лиде построен по приказу Великого князя литовского, русского и жмойтского Гедимина (1316-41). Строили замок в 1323-28 гг. пленные с Волыни и Киева. В 1323 г. Гедимин направил папе Иоанну ХХІІ письмо, в котором выразил готовность принять христианство за цену мира с крестоносцами. Папа запретил крестоносцам походы на литовское княжество, было заключено четырёхлетнее перемирие. В 1325 г. Гедимин выдал свою дочь Альдону за Казимира -сына польского короля Владислава Локетка. В 1326 г. литовские послы заключили мир с Новгородом. В условиях мира с окружающими соседями князь Гедимин возвёл Лидский замок укрепления в Вильно.
Своё назначение замок исполнил частично: отбился от нападения отряда смоленского князя Юрия Святославовича (5.08.1406), от войск князя Свидригайло в августе 1433 г., но сдался без боя крестоносцам в январе 1392 г. и армии Ивана Хованского в декабре 1659 г. После 1659 г. в оборонительных целях замок не использовался.
В замке происходили события большой значимости. Здесь в 1386 г. принёс присягу великому князю литовскому и королю польскому Ягайле полоцкий князь Скиргайло. Здесь в 1422 г. проходил знаменитый свадебный пир короля Владислава Ягайлы и княжны Софьи Гольшанской. Здесь в июле 1506 г. подписал предсмертное завещание король Александр, в присутствии литовских магнатов и своей жены Елены Иоанновны - дочери великого московского князя Ивана ІІІ. Отсюда уходило на победную Клецкую битву шляхетное ополчение.
В ХХ веке в руинах замка показывали кинофильмы, заливали каток, проводили богослужения, устраивали спортиные соревнования. В июле 1941 г. в замке был лагерь советских военнопленных. После войны внутренний двор замка использовался как спортивный стадион. С 2004 г. по настоящее время замок действует как туристический объект.
