伊達公子さんとの婚約解消以降、栗山氏のプライベートに関する決定的な熱愛報道は激減しました。しかし、キャスター時代にはいくつかの噂がメディアに取り沙汰されたことがあります。
代表的なものとして、当時テレビ東京のアナウンサーを務めていた福島敦子さん（元TBSアナウンサー・福島弓子さんの姉、イチロー氏の義姉）との交際説が一部週刊誌で囁かれたことがありました。番組共演をきっかけとした噂でしたが、双方の事務所や本人が交際を認めることはなく、決定的な証拠のないまま噂は立ち消えとなりました。
栗山氏はプロ野球選手時代からルックスと誠実な語り口で女性ファンからの人気が非常に高い人物でしたが、現役引退後は取材者・教育者としての立場を徹底して重んじ、スキャンダルとは無縁の生活を貫いてきました。
