Natif de la province de Saintonge, il fut l’un des premiers explorateurs français de l’Amérique du Nord. Il épousa une Portugaise nommée Victorine Alfonse ce qui lui valut son surnom. Il prit la mer à l’âge de 12 ans.
Embauché comme marin à bord de navires de commerce portugais, il voyagea en Afrique Occidentale, au Brésil, doubla le Cap de Bonne-Espérance, aborda à Madagascar et aux Indes. Dès les années 1540, c’était un capitaine de renom, capable de mener une flotte jusqu’à la Côte de l’Or ou aux Antilles, et qui n’avait jamais perdu un navire.
Au cours de l’hiver 1542-1543, il servait de pilote à Jean-François de la Rocque de Roberval, qui, sur les traces de Jacques Cartier, espérait fonder une colonie au Canada. Il démontra l’existence d’un détroit navigable entre le Groenland et les côtes du Labrador. Son équipage, comprenant 200 hommes et femmes, dont quelques prisonniers, dut hiverner dans des conditions extrêmement dures sur les berges du Saint-Laurent. Décimés par le scorbut, un quart de l’effectif périt avant le retour vers la France.
À la fin de 1544, alors que la paix de Crépy venait juste de mettre un terme aux hostilités entre la France et l’Espagne, il mit les voiles depuis La Rochelle avec une flottille comprenant quelques chalutiers basques. Une escadre espagnole menée par Pedro Menéndez de Avilés l’attaqua alors qu’il retournait sur La Rochelle et envoya son navire par le fond.
Il en vint à chercher le Passage du Nord-ouest le long de l’immense fleuve Saint-Laurent et fit des cartes qui apparurent dans sa Cosmographie de 1545. Il mourut sur un récif de Rochelle, dans la Baie de Biscaye, vers 1557.
Il est l’auteur des Voyages Aventureux, ouvrage posthume publié en 1559.