Fils aîné de Geoffroy II Ferréol, comte de Gâtinais [1] et d’Ermengarde d’Anjou. Il succède à son père vers 1045, puis partage avec son frère cadetFoulque les biens de son oncle Geoffroy Martel. Il obtient l’Anjou [2] et la Touraine [3], tandis que son frère reçoit la Saintonge [4] et la seigneurie de Vihiers [5]. Très rapidement, il se brouille avec le clergé, envahit l’abbaye de Marmoutier [6] et s’oppose à l’archevêque de Tours à propos de l’élection de l’évêque du Mans. Il perd d’ailleurs le contrôle du Maine, occupé par Guillaume le Conquérant. En 1067, Geoffroy est excommunié par le pape.
Pendant ce temps, son frère Foulque, chassé par Guy Geoffroy Guillaume VIII, duc d’Aquitaine qui lui avait pris la Saintonge en 1062, ne peut se contenter de sa seigneurie de Vihiers et prend la tête de l’opposition baronniale. Il s’empare de Saumur le 25 février 1067, puis d’Angers, le 4 avril 1067, capture son frère et l’emprisonne.
Lorsque Foulque Réchin gagne à sa cause quelques-uns des plus puissants vassaux de Geoffroy le Barbu, son frère, excommunié, est abandonné par le clergé. Sûr du concours de ses alliés, il marche sur Angers le 4 avril 1067 et, grâce à la trahison de Geoffroy de Preuilly , de Renaud II de Château-Gontier, de Giraud de Montreuil et du prévôt d’Angers, nommé Robert, s’empare de la personne du comte Geoffroy et le jette en prison. La punition des traîtres ne se fait pas attendre. Foulque Réchin ne peut ou ne veut pas préserver ses affidés de la vengeance populaire. Le lendemain, une émeute terrible soulève la ville, Renaud de Château-Gontier, Geoffroy de Preuilly, Giraud de Montreuil, sont massacrés, le prévôt, appréhendé à son tour, a bientôt subit un sort semblable.
Après une courte réconciliation, les 2 frères se brouillent à nouveau, et l’armée de Geoffroy est battue par les hommes de Foulque sur le champ de bataille de Brissac-Quincé [7] au mois d’avril 1068. Geoffroy est emprisonné pendant plus de 20 ans, au cours desquels il devint fou, et ni le roi de France, ni le comte de Blois ne réussissent à convaincre Foulque de le libérer.