正門和主屋正門建於1696年,採用所謂的「藥醫門」形式建造。
所謂的藥醫門,是王公貴族、官員和武家宅邸正門所用的一種門的樣式,由於過去都是醫生進出時使用,因而得名。(眾說紛紜)
設在門側邊的後門,構造特殊,緊急時即使正門關閉,也能由此進出。
此外,從正面看宅邸,可以發現正門並沒有筆直正對主屋的正面玄關。
這是為防備敵人從外面射弓箭襲擊的設計,為避免宅邸受損,興建時刻意改變角度。因此又被稱為「矢喰門(擋箭門)」。
據推估宅邸正中央的主屋,大約興建於1600年前後。
有些部分還使用了更古老的建築,因此非常具有歷史性。
前後經過幾次改建、修築才有現在的形貌,不過宅邸的基本構造並未改變,至今仍留有江戶時代的代官宅邸樣貌。
1958年被指定為國家重要文化遺產,1993年包括主屋附設的書庫、倉庫和門等,以及腹地內的建築物,全部被追加指定為國家重要文化遺產。