Легенда гласит, что возникновение паломнического места в Хлуме-Свате-Мари связано с маленькой готической статуэткой Девы Марии с младенцем Иисусом.
Её обнаружил молодой подмастерье у дороги на Хлумском холме и хотел забрать домой, однако статуэтка таинственным образом всё время сама возвращалась на прежнее место. Там около 1400 года церковь построила паломнический костёл Успения Девы Марии и Марии Магдалины, позднее расширенный до обширного барочного комплекса с трёхнефным храмом и пробством по проекту Криштофа Динценхофера.
