Die Orangerie hat eine abenteuerliche Geschichte. Am Rand des Schlossparks gelegen, wurde sie Mitte des 18. Jahrhunderts errichtet. Erste Skizzen entwarf der Landbaumeister Georg Christoph Berger 1754.
Aber Blumen wurden hier selten gezüchtet. Schon bald diente der Bau als Pulvermagazin, später als Scheune und Lagerraum für die im Ort ansässige chemische Fabrik. 1860 wurde sie zur Turnhalle, für das im Schloss ansässige Lehrerseminar, umgebaut, während der NS-Diktatur stellte hier die SS-Wachtruppe ihre Pferde unter.
Danach gab es Pläne, die Orangerie zum Café oder Kinderheim umzubauen, aber daran war während des Krieges und der Nachkriegsjahre nicht zu denken. Stattdessen diente der Bau bis 1952 der Evangelischen St. Nicolai-Gemeinde als Notkirche und danach für einige Jahre als Museumsdepot.
Es fehlte nicht mehr viel am Abriss, als sich 1998 ein Förderverein zum Wiederaufbau gründete. Fünf Jahre später wurde die Orangerie als Spielstätte und Festsaal wieder eröffnet.