1326 wurde die Burg erstmals genannt. Während der Stadtbefestigung von 1345-1348 baute Bernhard V. das Gebäude neu auf. Unter Graf Hermann Adolf erfolgte ein Umbau von 1656 bis 1659. Das Gebäude hatte bereits viele Verwendungen. So diente es als herrschaftliche Residenz, als Witwensitz, als Amtshaus, Hexenkerker, Kornspeicher und Amtsgefängnis.
