「塔のへつりが立ち入り禁止になっている」という噂の背景には、長い歳月をかけた岩盤の風化と、過去の大雨等による一部岩壁の崩落・浸食被害があります。もともと凝灰岩や頁岩といった脆い地層で形成されているため、下郷町では来訪者の安全確保を最優先とし、崩落の危険性が懸念される奥の断崖歩道などを立ち入り禁止に設定しました。
では、現在はまったく見学できないのかというと、決してそうではありません。名物の吊り橋「藤見橋」を渡り、対岸の岩窟に安置された「虚空蔵菩薩（こくぞうぼさつ）」のお堂前までは安全に通行・参拝が可能です。立ち入り規制が敷かれているのは、その先に続く危険な削岩遊歩道のみとなります。展望スペースや吊り橋からの景観鑑賞には何ら支障はなく、現在も力強い自然美を間近で体感できます。
