Ha l’aspetto di un centro medievale, caratterizzato dalla contiguità delle case e dai resti delle mura di difesa, fortificazioni e porte d’ingresso. L’impianto urbanistico, come tutti i centri medievali, viene costruito intorno al “castrum” fortificato, vicoli stretti collegati tra di loro con improvvise e gradevoli piazze. Nel territorio di Gorga, già dei Volsci, vi sono numerose testimonianze di ville romane nate soprattutto alle pendici dei Monti Lepini: tra di esse la più celebre è quella di Villamagna, residenza di caccia di Pompeo Magno e soprattutto dell’imprenditore Marco Aurelio, che nel X secolo divenne abbazia benedetta di San Pietro. La cittadina medievale di Gorga, con la sua struttura tipica a fuso, sorse nel secolo XI ne è documentata con una bolla di papa Urbano II nell’anno 1088, in cui si specifica la sua appartenenza alla diocesi di Anagni. Feudo dei Canonici Lateranensi, una parte della cittadina venne donata all’abbazia di Villamagna ( che a sua volta era stata donata a papa Bonifacio VIII alla cattedrale anagnina nell’anno 1297), passò poi ai De Ceccano, quindi ai Caetani e ai Conti di Segni – Valmontone.
Alla morte di cardinal Francesco Conti, il feudo di Gorga, unitamente a quello di altre cittadine lepine, passò al pontefice Leone X. Ricomprato dai Pamphili, che lo tennero fino all’anno 1760, passerà, per mancanza di eredi. Alla famiglia Doria. Alcune famiglie gorgane sono legate alla figura del pontefice carpinetano papa Leone XIII ( che le ripagò cooperando alla messa in opera della Fontana della Pastorella, simbolo della cittadina stessa), tra cui la famiglia del cardinal Vincenzo Santucci ( 1796 – 1861 ), uno dei primi promotori del vano tentativo di risolvere con il Cavour la questione romana.