La costruzione attuale utilizza le strutture del precedente palazzo cinquecentesco di proprietà dei Provana. Acquistato dai D'Oria, venne trasformato nel corso del XVII secolo secondo il modello delle residenze di rango principesco nell'ambito delle "delizie" di caccia reali. Fu dotato perciò di un territorio attinente, destinato a quest'uso ; una parte di questo fu reso feudale e cintato, in seguito a disposizioni reali, nella seconda metà del '600.
Nel corso del '700 fu aggiunto un piano alla manica est verso il parco e intonacata la muratura esterna.
In particolare l'appartamento a sud, detto di Carlo Emanuele e riservato ai soggiorni dei Savoia, che durante i loro itinerari venatori dimoravano nel palazzo, conserva una decorazione plastica e pittorica particolarmente ricca, eseguita da quegli artisti luganesi che lavorarono alle residenze reali.
Nel 1909 il complesso fu acquistato dalla Famiglia Remmert. Il parco venne in seguito lottizzato e il Palazzo fu trasformato e adattato ad uso dell'Amministrazione Comunale.
