やがて祖父の体調不良などを理由に実家へ戻ることになったが、そこにあったのは温かい我が家ではなく、相変わらずの居心地の悪さと貧困だった。継父との確執は深まるばかりで、家庭内に安らぎの場はなかったという。
中学を卒業した15歳の横山は、進学の道を諦め、すぐに社会へ出た。選んだ職業は「とび職」。建設現場で足場を組む過酷な肉体労働である。真夏は灼熱の鉄骨に囲まれ、真冬は凍えつく高所で汗と泥にまみれながら日銭を稼いだ。全ては自分自身が生きていくため、そして苦しい家庭を少しでも支えるためだった。この時代に培われた雑草魂と現実から逃げない強靭な精神が、後の彼の土台となったことは疑いようがない。