不肯去观音院，建筑简练、精巧，为普陀山观音道场之始。院内供仿唐式十一面观音像，寺院西侧筑“三十三观音灵场”长廊，内塑日本33座供奉观音的寺院主尊。每天游客不断，香火十分兴旺。

不肯去观音院，殿院小巧精致，院外古朴曲折的竹型水泥栏杆连接着亭、桥、池、石，形成紫竹林东南隅独特的旖旎风光。殿院改建成唐式结构，在它的西侧筑“日本三十三观音灵场”长廊，内塑日本33座供奉观音的寺庵主尊。门前“不肯去观音院”匾额为普陀山新任方丈戒忍所书，不肯去观音院的东下面是潮音古洞，西上面是紫竹林庵，岚影水光，景色如画，每天游客不断，香火十分兴旺。

相传，在唐咸通四年，日本僧人慧锷从五台山请得观音佛像泛舟回国，行至莲花洋新罗礁附近，遍海莲花，舟不能行，慧锷大师便向佛像祷告“若我国众生无缘见佛，当从所向建立精蓝”。船终于在潮音洞旁泊岸，有当地居民张氏睹此灵异，遂舍宅供奉佛像，被称为“不肯去观音院”，这就是“佛选名山”――普陀山成为观音道场的开始，故历来被视作普陀第一庵，香火兴旺，不同寻常。五代后梁贞明年间（917）迁址于灵鹫峰麓（即今普济寺之前身），潮音洞上的旧址因而湮没。

1918年8月，戊戌变法失败后，康有为先生到普陀山小憩并作诗述怀：“观音过此不肯去，海上神山涌普陀。楼间高低二百寺，鱼龙轰卷万千波。云和岛屿青未了，梵杂风潮音更多。第一人间清净土，欲寻真歇竟如何？”