После смерти короля Иштвана язычники снова (хоть и ненадолго) вошли в силу. Они посадили епископа Геллерта в бочку с гвоздями, забитыми внутрь, и пустили ее вниз с горы. Так святой епископ принял мученическую смерть. Позднее он был прославлен Церковью и стал почитаться как один из небесных покровителей Венгрии.
В 1902 году в Будапеште, на горе сорокаметровой высоты, на которой был казнен святой Геллерт, был установлен памятник ему. Семиметровая фигура священномученика (автор: Дьюла Яковиц) с поднятым в правой руке крестом и левой рукой, прижатой к сердцу, водружена на постамент. У ног епископа на ассиметричном постаменте – фигура внимающего святому язычника; ее выполнил скульптор Аладар Гардош.
Скульптурную композицию обрамляет дугообразная аркада с ионическими колоннами работы архитектора Имре Франшека. Подняться к памятнику можно по широкой лестнице, идущей вверх от основания горы, которая также носит имя святого. Завершает композицию искусственный водопад с небольшим водоемом под ним.
