Port-Vendres został założony prawdopodobnie (według części źródeł nie ma na to dowodów) przez Fenicjan w VI wieku p.n.e., jako pierwszy duży port handlowy w tym rejonie Morza Śródziemnego, potem zaś został rozbudowany przez Rzymian, nosząc wówczas nazwę Portus Veneris. Pierwsze wzmianki historyczne sięgają 1272 roku, gdzie Port-Vendres wymieniany jest jako "Port-Vendre de Collioure", co może świadczyć, że obie miejscowości były wówczas w jakiś sposób ze sobą ściśle związane. Wiadomo, że przez pewien czas obie, wraz z całym regionem Roussillon, należały do Królestwa Majorki; później znalazły się pod panowaniem Królestwa Aragonii, a następnie w strefie wpływów Hiszpanii, zjednoczonej po ślubie Izabeli I Kastylijskiej i Ferdynanda II Aragońskiego.
W 1659 roku, za panowania Ludwika XIV, w wyniku postanowień tzw. traktatu pirenejskiego, Port-Vendres, Collioure i cały region Roussillon zostały włączone do Francji. Vauban, doceniając strategiczne znaczenie Port-Vendres (podobnie jako Collioure) dokonał przebudowy i wzmocnienia fortyfikacji miasta i portu (szczególnie interesującego dla inżyniera wojskowego ze względu na dużą głębokość i skaliste ustabilizowane dno, co umożłiwiało przyjmowanie dużych jednostek handlowych i okrętów wojennych). Dalsza rozbudowa została przeprowadzona za panowania Ludwika XVI, pod nadzorem hrabiego Josepha Augustina De Mailly d'Haucourta, naczelnego dowódcy wojsk francuskich w regionie, który nie tylko dodał kolejne elementy fortyfikacji, lecz dokonał istotnej przebudowy miasta, po czym w 1780 roku, na polecenia Ludwika XVI, postawiono na jednym z placów miasta, w pobliżu portu, ku chwale tegoż Ludwika XVI, wysoki na 30 m marmurowy obelisk , częściowo zniszczony podczas Rewolucji Francuskiej, częściowo jednak zachowany, i uchodzący za główny zabytek miasta (dla upamiętnienia jego budowy co roku we wrześniu mają miejsce specjalne obchody zwane "Fête de Mailly").