Fils de Raoul, comte d’Ivry, et d’Éremburge. Il accède à l’évêché de Bayeux en 1015. Il reconstitue le temporel de la cathédrale et procède à la translation des reliques de saint Raven et saint Rasyphe.
À la mort de son père après 1015, l’essentiel des biens de son père lui revient, y compris le château d’Ivry.
Il est implanté dans quatre secteurs : la forêt de Vièvre en Lieuvin, les domaines de Raoul en Hiémois, le patrimoine situé au nord de la Seine et des possessions en Évrecin. Les biens en pays cauchoix étaient concentrés sur le littoral du Petit-Caux et à Vieux-Rouen-sur-Bresle
Il tient, le château d’Ivry contre les ducs de Normandie. Tenu à l’écart du conseil du roi, il arme Ivry et part en France renforcer la garnison. Longtemps en exil, il rentre en grâce en novembre 1032 et souscrit à cette occasion l’acte de fondation de l’abbaye de Cerisy.
À la suite d’un incendie, Hugues décide la reconstruction de la cathédrale. Elle est terminée par son successeur Odon de Conteville.
Il meurt en 1049, au retour de son voyage au concile de Reims tenu par le pape Léon IX. Il est inhumé dans la cathédrale.