岡本太郎記念館の敷地は、戦前は岡本太郎の両親（岡本一平・かの子）の住居があった場所です。戦後の昭和29年（1954）に、岡本太郎はこの地にアトリエを建設し、木造平屋建の居住棟を接続させました。
岡本太郎はこのアトリエ兼住宅で40年以上にわたって芸術活動を展開しました。平成8年（1996）に亡くなった後、アトリエ部分を改修し、木造の居住棟を建替え、平成10年に「岡本太郎記念館」として一般に公開されるようになりました。