Das „Steinerne Haus“ entstand 1659/60 durch Umbau eines Burgmannensitzes aus dem 14. Jahrhundert. Die dreiflügelige Anlage besteht aus zwei steinernen Geschossen und einem Obergeschoss aus Fachwerk. Das hier untergebrachte Museum widmet sich der Geschichte und der Kultur der ehemaligen Grafschaft Ziegenhain bzw. der Region Schwalm. Im Keller ist die vor- und frühgeschichtliche Sammlung ausgestellt, deren bedeutende Fundstücke das Leben in der Region seit der Altsteinzeit dokumentieren. In der stadtgeschichtlichen Abteilung ist neben einer Wetterfahnen-Sammlung und einem kleinen Verlies unter anderem ein großes Modell der Wasserfestung Ziegenhain im Zustand von etwa 1775 zu besichtigen. Diese Festung wurde unter Landgraf Philipp dem Großmütigen 1537 bis 1543 erbaut und galt damals als stärkste hessische Befestigungsanlage.

Im mittleren Geschoss sind die volkskundlichen Sammlungen untergebracht. Eine rekonstruierte Töpferwerkstatt steht in Verbindung mit der ausgestellten Keramik (Irdenware), die in der Region gebräuchlich war. In der Schusterstube befinden sich viele Werkzeuge und Schwälmer Schuhe. Die Arbeitsschritte der Flachsbearbeitung sind anhand der ausgestellten Geräte – von der Breche bis zum Webstuhl – nachvollziehbar. Breiten Raum nimmt die Schwälmer Tracht mit ihrem umfangreichen Zubehör ein. Zahlreiche lebensgroße Trachtenpuppen präsentieren die Vielfalt der je nach Anlass und Alter unterschiedlich gestalteten ländlichen Bekleidung. Einen Eindruck von der traditionellen dörflichen Wohnwelt vermitteln eine Schlafkammer sowie eine Küche des späten 19. Jahrhunderts.

Im Obergeschoss wird an die Stickmeisterin Thekla Gombert erinnert, im anschließenden Raum sind kunstvolle Schwälmer Weißstickereien (18.–20. Jh.) zu besichtigen. Der „Willingshäuser Saal“ enthält Gemälde und Grafiken der Willingshäuser Künstler.