Il primo insediamento fortificato di Castelvecchio, nucleo originario dell'odierna Oneglia (Imperia), fu distrutto dai Saraceni nel 935 d.C..
Questo tragico evento costrinse la popolazione a rifugiarsi nell'entroterra o a fondare nuovi villaggi costieri, dando successivamente origine all'abitato di Oneglia. Sorto su un preesistente insediamento tardo-romano e bizantino a controllo della costa, fungeva da cittadella militare fortificata. Circa l'Incursione del 935 va detto che i Saraceni (appartenenti al Califfato fatimide) seminarono il terrore lungo la riviera ligure, radendo al suolo il castello originario e saccheggiando l'intera area.
Dopo la distruzione, gli abitanti si dispersero creando vari borghi nei dintorni (tra cui Oliveto, Borgo e Costa d'Oneglia). Non mancò a breve la dura controffensiva cristiana, alla quale cittadini di Castelvecchio parteciparono, nei confronti dei Saraceni con la distruzione delle loro roccaforti musulmane a Frassineto e dintorni, ma anche in Nordafrica.
Il sito di Castelvecchio venne ricostruito nel 1281, per poi perdere progressivamente importanza a favore della costa con l'arrivo di un ramo della famiglia Doria. Dell'antico castello rimangono oggi pochi ruderi vincolati, situati nei pressi. In età medievale la fortificazione, sorta, come ricordato, su preesistente centro tardo-romano-bizantino fu appunto ricostruita.
La zona, nel 1100, divenne feudo dei vescovi di Albenga, a che dovettero chiedere aiuto a Genova per controllarla, mentre il vicino Portus Maurici aveva ancora nel VI d.C. un ruolo di rilievo nell'ambito dell'itinerario costiero fra Roma ed Arles ed il suo ruolo era ancora attivo nell'Alto Medioevo.