Nella vicinanza di piazza Santa Maria, il palazzo ha un origine riconducibile al Tardo Rinascimento; la sua architettura presenta dei chiari riferimenti a tale periodo; tra essi una bella ed elegante loggia.

Nella seconda metà del 1700 i Padri Dottrinari costruirono il Palazzo che dal 1876 divenne sede del Comune di Segni. Il rettore Battista Ardizzoni di Nizza, ottenuta dai suoi superiori la facoltà di prendere in prestito 3500 scudi per la costruzione, incaricò l’architetto Domenico Simonetti di Como di redigerne il progetto. In pochi anni il bel palazzo del Collegio fu portato a termine ed era annesso alla Chiesa del Gesù.

Il Palazzo Conti si trova all’ingresso del centro storico di Segni, il vasto complesso architettonico, costruito probabilmente in epoca medievale, infatti, include anche Porta Maggiore, l’accesso monumentale all’antica Signia. Lo acquistò il Vescovo di Segni, Biagio Sibilia, per conto di Leone XIII, che nel 1887 lo affidò alle suore di Santa Giovanna Antida perché vi educassero la gioventù femminile. Della struttura medievale è rimasto ben poco, fatta eccezione per un tratto di muratura ancora visibile in via dell’Asilo e per i resti di una torre quadrata a destra della Porta Maggiore. L’edificio originario sicuramente fu distrutto dalle truppe di Marcantonio Colonna nel 1557. Sull’architrave del portone d’ingresso al palazzo si legge la seguente iscrizione: “ALE DE COMITIBUS SFORTIA DUX SIG” (Alessandro dei Conti Sforza duca di Segni). Il papa Sisto V con un documento del 4 luglio 1585 concesse ad Alessandro, nipote di Fulvia Conti e di Mario Sforza (da cui nacque il ramo dei Conti Sforza) il titolo di Duca, elevando Segni a ducato. Il restauro del palazzo fu fatto eseguire da Alessandro Conti Sforza nell’ultimo decennio del XVI secolo. La decorazione pittorica di alcune delle principali stanze di rappresentanza fu affidata probabilmente a Federico Zuccari (1543 – 1609), allievo e collaboratore di suo fratello Taddeo (1529 – 1566), altri attribuiscono il ciclo pittorico al Cavalier d’Arpino, Giuseppe Cesari (1568 – 1640).

Il palazzo fu costruito verso la metà del XIII secolo ed era la sede del Comune cittadino e vi rimase fino al 1876. Oggi ospita il Museo Archeologico Comunale di Segni. Nella sua fase originaria l’edificio doveva essere costituito da un portico al pianterreno costituito da una serie di arcate a tutto sesto, che alternano blocchetti di calcare a quelli di tufo dando un effetto bicromo molto vivace, al secondo piano si apriva una loggia con ampie finestroni ad arco acuto in blocchetti di tufo e al terzo piano probabilmente vi era una seconda loggia, più piccola. Il palazzo, come mostra la muratura stessa, portata alla luce durante i restauri effettuati proprio in occasione dell’individuazione dell’edificio come sede museale, ha subito numerosi rifacimenti nel corso dei secoli. Una ricostruzione del Palazzo e dell’assetto della piazza nel duecento si trova nelle sezioni medievali del percorso espositivo del Museo.

La Diocesi di Segni è attestata a partire dal 499, anno in cui il vescovo Santulo fu chiamato a sottoscrivere nel sinodo romano, indetto da papa Simmaco. La Diocesi comprendeva, oltre la città di Segni, anche i territori degli attuali Comuni di Artena (Montefortino), Colleferro, Gavignano, Montelanico e Valmontone, rimase sede di Diocesi fino al 1986, quando fu poi unita a quella di Velletri. Fin dal principio, il Vescovo aveva l’obbligo di risiedere nel capoluogo della Diocesi a lui sottoposta, l’unico che nel territorio avesse il titolo di essere denominato città. A Segni il palazzo episcopale si trova lungo l’attuale via Rossi, dietro l’edificio della moderna Cattedrale. Da poco è stata riportata alla luce la muratura dell’edificio medievale, databile principalmente alla fine del XII – inizi XIII secolo, oltre a numerose ed eleganti bifore, diverse tra loro per stile e decorazione.