Castelvecchio di Oneglia, già caposaldo ligure e poi romano, divenne insediamento fortificato nel periodo medievale sotto i vescovi di Albenga, per poi perdere importanza a favore della costa (Oneglia) con l'avvento dei Doria (1298), che ne spostarono il baricentro economico e difensivo.
Nel 1298, la valle e il castello passarono dai conti di Ventimiglia ai Doria, che svilupparono l'area costiera di Oneglia con il progressivo spostamento da Castelvecchio verso il mare, riducendo l'importanza dell'entroterra.
I Doria promossero l'agricoltura, la pesca e l'allevamento, erigendo fortificazioni, tra cui il castello del porto, costruito nel 1488. Andrea Doria, il celebre ammiraglio genovese, nacque ad Oneglia il 30 novembre 1466 da una delle branche della famiglia Doria di Ponente.
Figlio di Ceva Doria, signore di Oneglia e di Caracosa Doria, marchesa di Dolceacqua e legata alla famiglia Grimaldi di Monaco, Andrea fu battezzato nella chiesa di Santa Maria Maggiore, fulcro religioso della signoria di Oneglia e situata sul cucuzzolo della collina nei pressi del castello (già chiamato Castrun Uneliae e poi fortificazione dei vescovi di Albenga).
Nonostante che la sua carriera si sia svolta, principalmente a Genova e nel Mediterraneo, Andrea Doria mantenne un forte legame con Oneglia e anche con lo stesso Castelvecchio, dove ritornava in diverse occasioni, come, ad esempio, nel 1538, quando accolse nella zona Papa Paolo III, Francesco I di Francia e Carlo V d'Asburgo nella speranza di rinsaldare un'alleanza cristiana contro la minaccia turca.