Il Palazzo del Principe, fino alla prima metà del XIX secolo, appartenne sempre ai signori di Rocca Massima. Situato sul punto più alto del monte è stato costruito probabilmente dallo stesso Pietro Annibaldi. Nonostante le molte manomissioni, sulla facciata di ingresso e in altri tratti di muro del palazzo, è visibile ancora la caratteristica tecnica edilizia a piccoli parallelepipedi, usata nel Medioevo in molte città del Lazio Meridionale. Nel corso dei secoli, il palazzo ha subito notevoli ampliamenti e restauri. In origine il palazzo era composto da tre piani: un pian terreno, dove si trovava la stalla, le carceri, la sala del Consiglio, la dispensa e una cisterna per la raccolta dell’acqua piovana; un primo piano con gli ambienti residenziali; un secondo piano, utilizzato come soffitta. In epoca contemporanea, invece, il palazzo fu venduto ai privati e diviso in vari appartamenti.