長年愛される山田だが、実は過去に何度も「降板危機」の噂が流れた。特にメンバーとの不仲説や、番組リニューアルに伴う若返り策の一環として、彼の名前がやり玉に挙がることは珍しくない。しかし、そのたびに山田は不死鳥のようにスタジオに立ち続けてきた。
噂の背景には、彼が持つ「不動産投資での成功」というプライベートな側面も影響している。「本業よりアパート経営で稼いでいるから、いつ辞めてもおかしくない」というネタ混じりの噂話が、ファンの間でひとり歩きした形だ。だが、現場のスタッフやメンバーからの信頼は厚く、彼の代わりを務められる存在は容易には見つからないのが現実だ。