本館は、当時の県令（現在の県知事に相当）であった楫取素彦(かとりもとひこ)の提言により、明治１７年に建てられた迎賓館(げいひんかん)です。後に初代前橋市長となる下村(しもむら)善太郎(ぜんたろう)をはじめとした有志や銀行などの企業の寄付により建てられました。建物は利根川に面し、妙義山や浅間山などを遠方に臨む場所に建てられました。

当初は「迎賓館」と称し、明治時代には明治天皇や大正天皇（当時は皇太子）などの皇族が滞在されています。その後昭和２０年からは前橋市役所仮庁舎として、昭和３０年からは、前橋市公民館、前橋市中央公民館として利用されました。

別館は「一府(いっぷ)十四県(じゅうよんけん)連合(れんごう)共進会(きょうしんかい)」に先立って、明治４３年に貴賓館(きひんかん)として建てられ建物で、どっしりとした外観は見る人を圧倒します。１階には六十畳の板敷の西洋間１室のほか、日本間が７室あり、２階は百八十畳の大広間があります。共進会ののちには本市に引き渡されました。

２階の大広間は、詩人の萩原(はぎわら)朔太郎(さくたろう)の結婚式にも使われ、多くの来賓でにぎわっていたと伝えられます。本建物の建築は、市内で経験豊富な小曽根甚(おぞねじん)八(ぱち)が当たりました。

茶室は本館と同じく明治１７年に建てられた建物で、本館建設に地元有志が熱心に協力したことに対し、初代県令楫取素彦ら県庁職員の募金により建てられ、その後本市に寄付されたと伝えられます。建築は、京都の茶室大工である今井源(いまいげん)兵衛(べえ)によるものです。木造平屋建てで、屋根は瓦葺、茶席部分は京間四畳半・本勝手(ほんがって)・下座に床の間を設けます。平成２０年の都市緑化フェアに際し、楫取素彦の号である「畊堂(こうどう)」と命名されました。