横山さんの生い立ちにおいて、最も過酷を極めたのが母親の再婚によって同居することになった2人目の父親（義父）との関係です。母親とこの義父との間には、横山さんより6歳年下の次男と8歳年下の三男が誕生しました。つまり、横山さんと2人の弟は「母親は同じだが父親が異なる」異父兄弟の間柄になります。
血のつながりがない義父からの風当たりは極めて冷酷でした。当時の回顧手記やバラエティ番組での言及によると、義父は実子である2人の弟を溺愛する一方で、前夫の子である横山さんに対してはあからさまな差別待遇を強いたと証言されています。食卓での扱いに差をつけられただけでなく、些細な理由で棒状の物を使って叩かれるといった理不尽な体罰（現在でいう身体的虐待）が日常化していた時期もありました。
義父との軋轢に耐えかねた横山さんは、一時期実母の手元を離れ、祖父母の家に身を寄せて生活することを余儀なくされます。しかし、その最愛の祖父が病に倒れたことで再び義父のいる自宅へ戻らざるを得なくなるなど、居場所の定まらない苦難の日々が続きました。
中学を卒業した横山さんは、経済的な困窮と家庭内の孤立から脱却するため、全日制高校への進学を選択せず、建設現場の作業員として就職しました。ヘルメットを被り、泥にまみれて汗を流しながら自活への道を模索していた15歳の少年に訪れた転機が、母親が履歴書を送ったことで決まった芸能事務所への入所でした。過酷な家庭環境から抜け出すための唯一の希望が、ステージの上で光を浴びることだったのです。
