1979年天主教靈醫會巴瑞士修士在三角崙山腰搭了一座避難山屋，並豎立一尊聖母像，成為登山者平安的守護者。1980年11月9日，5名非教友登山客黑夜下山遇險，只靠著蠟燭照明，虔誠的祈求聖母能順利脫困。朦朧中有人不經意回頭見到遠方一長髮女性身影，他們深信必是聖母引路，最後平安返抵山下。為了感念聖母，幾人之後回到山腳處立建亭立碑。而後朝聖者從四面八方湧來，各方教友努力奔走求資助，2005年10月，五峰旗聖母朝聖地聖堂終於落成啟用。