かつての鶴ヶ岡城の三の丸にあたり、古くは庄内藩の御用屋敷で広壮な屋敷があり、現在は幕末に建てられた藩主の隠居所である御隠殿とよばれる建物の一部が残っています。
奥座敷から望む古庭園は作庭年代も古く書院庭園として国の名勝に指定されています。
構内には明治の代表的な擬洋風建物の重要文化財旧西田川郡役所、重要文化財旧鶴岡警察署庁舎の2棟と江戸時代創建の湯殿山山麓田麦俣民家の重要文化財旧渋谷家住宅が移築保存されています。
それら伝統的建造物等を活用して考古、歴史、民俗資料などをテーマ別に常設展示しています。