Das Gebäude entstand von 1871 bis 1877 nach Plänen des Architekten Heinrich von Dehn-Rotfelser, wobei seine Raumstruktur auf das Vorbild der Münchener Alten Pinakothek mit Oberlichtsälen und Seitenlicht-Kabinetten zurückgeht. Im Zweiten Weltkrieg schwer beschädigt, wurde der Bau erst 1976 als „Neue Galerie“ wiedereröffnet. Nach einer grundlegenden Sanierung präsentiert der neugestaltete und neukonzipierte Bau seit 2011 Teile der städtischen und staatlichen Kunstsammlung. 
Gezeigt werden Malerei und Skulptur des 19. bis 21. Jahrhunderts. Drei Auftakträume geben einen Einblick in die Hauptbereiche der Sammlung (19. Jahrhundert, Documenta- und zeitgenössische Kunst). Der zentrale Raum im Erdgeschoss wurde von Joseph Beuys anlässlich der Eröffnung des Hauses 1976 selbst eingerichtet. Das in der Mitte aufgestellte Hauptwerk „The Pack (Das Rudel)“ (1969) ist umgeben von Vitrinen, Zeichnungen und plastischen Bildern. Dazu gehören auch neun Multiples, unter anderem das bedeutende Selbstporträt des Künstlers, „La rivoluzione siamo Noi (Die Revolution sind wir)“ von 1972.
Der Rundgang im Erdgeschoss beginnt mit Gemälden des 19. Jahrhunderts, die in chronologischer Reihenfolge insbesondere die Entwicklung der Landschaftsmalerei veranschaulichen. Gezeigt werden unter anderem Werke von Professoren und Schülern der Kasseler Akademie, darunter zahlreiche Arbeiten der beiden deutschen Neoimpressionisten Paul Baum und Curt Herrmann. Einen Schwerpunkt bilden auch die Werke der in der Malerkolonie Willingshausen in der Schwalm arbeitenden Künstler (Carl Bantzer, Wilhelm Thielmann u. a.).
Zu den Höhepunkten gehört ein Raum mit bedeutenden Arbeiten von Lovis Corinth, unter anderem das Gemälde „Walchensee, Landschaft mit Kuh“ (1921). Malerei und Skulptur der Nachkriegszeit bis zu den 1960er Jahren sowie Pop Art und abstrakte Malerei bis hin zur zeitgenössischen Kunst sind weitere Schwerpunkte des Hauses, zu denen auch die seit 1982 getätigten Erwerbungen von der „documenta“ gehören.