佛教四大名山之一的普陀山有一座普濟寺，裡面就供奉著一尊「不肯去觀音」。關於這尊「不肯去觀音」，有一個這樣的傳說。
話說唐代末年，日本臨濟宗高僧慧鍔對觀音菩薩十分仰慕，他不遠萬裡來到東土大唐，想朝拜觀音菩薩，並且學習佛法。他來到佛教聖地五臺山，五臺山原本是文殊菩薩的道場，但也有寺廟供奉觀音菩薩像，寶華寺便是其中之一。
慧鍔來到寶華寺，走上大雄寶殿，眼前突然一亮，只見一尊觀音菩薩的莊嚴寶像立於眼前。此像約三尺高，由白玉精雕而成，菩薩手捧淨瓶，瓶中插有楊柳枝，她端坐於蓮臺之上，神態慈祥可親，整座寶像光芒四射。慧鍔在這尊觀音菩薩寶像前久久駐足，不忍離開。他想，如果能將這尊觀音像請回日本去供奉該有多好呀。
當天晚上，他反覆思量，終於下定決心第二天去向法華寺的方丈吐露心聲，請求方丈允許他將這尊菩薩請回日本，去教化日本人民。第二天，慧鍔便去找寶華寺的方丈。聽了慧鍔的請求，方丈一時猶豫不決，但是他看到慧鍔一片赤誠，十分感動，考慮再三之後，方丈還是同意了慧鍔的請求。他反覆叮嚀慧鍔，這尊玉觀音菩薩像是稀世珍品，一路上一定要小心供奉。
幾天後的清晨，慧鍔辭別了方丈，恭敬地捧著觀音菩薩玉像離開法華寺。到了長江後，他又順江東行，出了長江口，眼前就是無垠的蔚藍色大海了。當船駛到舟山群島附近，海上突然狂風大作，海浪滔天，小船在大風大浪中擺來擺去，眼看著船就要翻了。慧鍔心裡很焦急，但又無計可施，於是口念觀音菩薩法號求救。說來也真靈驗，剛念了幾遍，狂風便停了，海面又風平浪靜了。
海潮把小船推到了普陀山的山岙裡。第二天，慧鍔正要揚帆啟航，海面上又升起白霧，分不清東南西北，慧鍔的船在海上轉來轉去，怎麼也走不出去。慧鍔只好再次拋錨停船，想等到霧散去再啟航。第三天清晨，一輪紅日從海面升起，白霧都散去了，海面上更是風平浪靜，慧鍔心想：這可是請玉觀音菩薩像回日本的好兆頭，可以啟航了。
可是奇怪的是，船一駛出山岙，烏雲便遮住了太陽，海上風浪又起。慧鍔心裡著急，他想：要是總遇到這樣的天氣，何時才能將觀音菩薩像請回日本呢？他一咬牙，讓船繼續前行，但船沒駛出多遠，就再也走不動了，慧鍔低頭一看，心中大驚，原來海面上生出朵朵鐵蓮花，把船團團圍住，無法移動。慧鍔是一個悟性極高的人，他心中暗想：難道是觀音菩薩不想去日本？
於是，他在觀音菩薩像前禮拜，請求菩薩指點迷津。當天夜裡，慧鍔夢見一個僧人對他說：「你們若能將我留在這座島上，我一定讓你們平安地航行。」慧鍔從夢中驚醒，才知道觀音菩薩的確不肯隨他去日本。於是他登上岸，在潮音洞附近留下了觀音聖像，世人稱此觀音為「不肯去觀音」。
而這種座島就是南海普陀山，五代梁朝時人們在此建不肯去觀音院。宋元豐三年朝廷賜銀，改建為寶陀觀音寺，從此香火鼎盛，香客如織。南宋嘉定七年，正式欽定為觀音道場，並根據佛經「補怛洛迦」，更山名為普陀洛迦山，亦稱補陀洛迦山。明朝時，把蓮花洋南的一小島稱洛迦山，就有了普陀山和洛迦山兩個山名。千百年來，這裡成為弘揚觀音大士聖德的聖地，有著「千處祈求千處應，苦海常作渡人舟」的觀音信仰，在中華民族可謂婦孺皆知，影響深遠。