庭園の美しさとともに見逃せないのが、敷地内に現存するレンガ造り2階建ての洋館が帯びる重厚な歴史的背景です。1903年（明治36年）4月21日、この洋館の2階において、元老・山県有朋、立憲政友会総裁・伊藤博文、内閣総理大臣・桂太郎、外務大臣・小村寿太郎の4名が集まり、いわゆる「無鄰菴会議」が開催されました。
緊迫する極東情勢のなか、対露外交の基本方針および日露開戦への舵取りが合意された密議の場であり、日本の近代史を大きく動かした決定的な舞台です。室内には金箔地の狩野派障壁画が嵌め込まれ、壁には輸入された貴重な革紙（金唐革紙）が施されるなど、当時のハイカラかつ格調高い意匠がほぼ当時のまま保たれています。
