幼い頃に実父と死別し、幼少期の大部分を祖父母の元で過ごした背景には、複雑な家庭事情があった。やがて母親の再婚に伴い義父と同居を始めることとなったが、そこで待っていたのは平穏な生活とはほど遠い日常だった。義父からの厳しい態度や虐待に近い扱いに晒され、心身ともに追い詰められる日々が続いたという。横山裕の父親にまつわる記憶は、幼少期の心に深い傷痕を残すこととなった。
中学生という多感な時期に差し掛かると、家庭内の摩擦はさらに深刻化する。集団生活や学校現場でも孤独を深めるなか、身を守る術として彼は早期の自立を意識せざるを得なかった。当時を振り返る関係者の証言からも、彼が置かれていた環境がいかに苛烈であったかが窺える。しかし、どれほど理不尽な環境にあっても、彼は自らの運命を他人のせいにすることはなかった。