Inmitten der Zitadelle, durch zwei geschlossene, reich geschmückte Ehrenhöfe im Süden und Norden mit den beiden Torbereichen in den Wällen verbunden, stand - mit 73 m Seitenlänge - das vierflügelige, herzogliche Residenzschloß; das Schulgebäude des Gymnasiums wurde um 1970 auf dessen erhaltenem Kellergeschoß mit seinen sehr eindrucksvollen Tonnengewölben errichtet (bei Führungen teilweise zugänglich). Annähernd historisch getreu restauriert sind die Fassaden des - auf den ersten Blick völlig symmetrisch wirkenden - Ostflügels, und der architekturhistorisch besonders wertvollen Schloßkapelle sowie des Nordflügels bis zum originalen, schon manieristische Elemente enthaltenden Renaissanceportal (Nordportal) zum Schloßhof.

Das Schloß stand mit seinem Ziegelmauerwerk in der Tradition niederländisch-niederrheinischer Bauweise des 16. Jahrhunderts; durch "italienischen" Bauschmuck hob Alessandro Pasqualini den "piano nobile", das repräsentative Obergeschoß, und die Schloßkapelle hervor. Die Schloßanlage hat 1944 schwere Kriegsschäden erlitten, aber auch schon vorher starke Veränderungen durch Nutzung als Kaserne (etwa ab 1610) erfahren. So verschwand schon früh die in den Resten der Konsolen, Gesimse und insbesondere der Portalrahmung des Tortunnels noch nachvollziehbare, zweigeschossige Loggia rund um den Schloßhof; sie erschloß usprünglich auch die renaissancezeitlichen Treppenhäuser und das Obergeschoß der Schloßflügel.

Ein Brand 1768 machte die Erneuerung der Westfassade der Kapelle (Rokoko) notwendig, an die das doppelte Chronogramm am volutengeschmückten Giebel erinnert.