По преданию, в середине XIV века, когда князь Ольгерд со своим воеводой Гастольдом отправился на войну, местные язычники напали на дом Гастольда и захватили четырнадцать живших там по приглашению жены воеводы монахов-францисканцев. Семерых из них они публично убили на местном рынке, семерым другим удалось бежать. Однако из также поймали и сбросили в реку с Лысой горы (по другой версии в реку бросили лишь четверых, а трое были распяты язычниками на крестах там же, на горе).
В память о христианских мучениках в начале XVII века на горе были установлены три деревянных креста. Век спустя они обветшали и были заменены другими. Однако еще через столетие рухнули и эти кресты. Заново их установили только в 1916 году, когда Вильно был занят немцами. На этот раз кресты были из железобетона – деньги на их установку собирали всем городом. Освятили кресты тайно, из-за запрета оккупационных властей. Но эти, казалось бы, прочные кресты простояли недолго – в начале пятидесятых годов их взорвали по приказу безбожной советской власти. Уцелевшие после взрыва части крестов горожане зарыли в тайном месте.
Только в годы Перестройки началась кампания со сбором подписей за восстановление Трех крестов на горе. После получения согласия властей кресты были установлены на горе в течение двух недель. Памятник по проекту архитектора Генрикаса Шилингаса создал скульптор Станисловас Кузма. В соответствии с общественно-политической конъюнктурой тех лет кресты объявили памятником жертвам сталинизма. А части предыдущего монумента, скрытые до времени в земле, были извлечены на свет Божий и вмурованы в фундамент нового, и частично – вмонтированы в холм поблизости. Новые кресты повторяют прежние довольно точно, но при этом почти на два метра выше их и белее оттенком.
В июне 1989 года состоялось торжественное открытие мемориала на Трехкрестовой горе. В присутствии представителей местной власти и многочисленных горожан восстановленные кресты освятил кардинал Винцентас Сладкявичюс.
