Au départ, il y avait une citadelle décidée par Louis XIV, construite selon les conceptions de Vauban de 1667 à 1674.  Ravagée par deux sièges (1709 et 1745), victime de deux démantèlements (1745 et 1782), celle-ci fut rasée en 1816 pour être reconstruite sous le régime des Pays-Bas, de 1816 à fin 1822, mais dirigée cette fois contre de nouvelles visées territoriales françaises.

C'est de la citadelle hollandaise que naquit la caserne actuelle (Quartier Général-Baron Ruquoy).