大学卒業後、一度は一般の電気設備会社（建電設備）に就職した菅氏でしたが、「世の中を根底から動かしているのは政治ではないか」という強い衝動を抑えられなくなります。法政大学の就職課などを頼り、紹介されたのが当時の自民党有力代議士・小此木彦三郎（おこのぎ ひこさぶろう）衆議院議員でした。
1975年、菅氏は小此木氏の門を叩き、私設秘書としての第一歩を踏み出します。ここから11年間にわたる秘書生活が始まりました。菅氏は横浜市内を誰よりも歩き回り、地元有権者の名前や家族構成、要望を徹底的にノートに記録。陳情処理の的確さと誠実な仕事ぶりから、小此木氏の絶大な信頼を獲得します。この秘書時代、小此木事務所の同僚秘書の妹であった真理子夫人と出会い、結婚しました。
1987年、小此木氏の強力な後押しを受けて横浜市議会議員選挙（西区選出）に出馬。地盤も看板もない中、1日に300軒以上を個別訪問する驚異的なドブ板選挙を展開し、見事トップ当選を果たします。市議2期8年の間には、卓越した政策立案能力と根回し力で市政に絶大な影響力を持ち、いつしか「影の横浜市長」と呼ばれるまでの実力者へ成長していきました。
