Het pand dateert in zijn huidige vorm uit omstreeks 1790. In 2014 werd in de tuin een moderne expositievleugel gebouwd.
Het museum organiseert jaarlijks tijdelijke tentoonstellingen over diverse onderwerpen. Blikvangers binnen het tentoonstellingsprogramma zijn de papier- en textielbiënnales die om het jaar gehouden worden. De biënnales (papier in de even jaren, textiel in de on- even jaren) geven een overzicht van actuele beeldende kunst van papier, dan wel textiel, en hebben het museum internationale bekendheid gegeven.