Il castello occupa la sommità del colle intorno al quale si sviluppa la cittadina di Sermoneta. La prima parte del castello fu costruito nel XIII secolo dalla famiglia Annibaldi, con un maschio a pianta quadrangolare alto circa 40 metri. Di qual periodo, all’interno sono visibili tre grandi camini, classificabili tra la categoria ad angolo. Successivamente il castello fu ampliato dai Caetani, nel XV secolo, costruendo la sala dei Baroni, lunga 22 metri e divisa in quattro campate da tre archi a sesto acuto. Ma la traccia più significativa lasciata dalla famiglia Caetani sono le cosiddette “Camere pinte”, abitate dai signori del castello, fatte affrescare da un’artista della scuola del Pinturicchio e recentemente restaurate.