Fils de François Goyon de Matignon, comte de Torigni* et de Gacé*, lieutenant-général de la Normandie* et chevalier des Ordres*, et d’Anne Malon de Bercy.
Il appartenait à une ancienne famille noble dont plusieurs de ses membres se sont illustrés. Son oncle paternel, Léonor de Matignon avait été évêque de Coutances* puis de Lisieux*.
Au début de ses études à Paris, en 1652, à l’âge de 9 ans, il a été pourvu du prieuré du Plessis-Grimoult*, dans le diocèse de Bayeux*. Il étudie la théologie à la Sorbonne* et obtient une licence de droit canon en juin 1665. Quand il fut ordonné prêtre, son frère Léonor lui céda la place de doyen de la cathédrale de Lisieux* le 21 avril 1666. Ce frère succéda à son oncle comme évêque de Lisieux le 14 mars 1677.
Jacques de Goyon de Matignon est nommé évêque de Condom en remplacement de Bossuet et en lui cédant le prieuré du Plessis Grimoult. Les bulles du pape confirmant cette nomination tardèrent à arriver. C’est en avril 1673, dans l’église des Chartreux de Paris*, que Jacques de Goyon de Matignon a été consacré évêque de Condom par Bossuet lui-même, assisté de l’évêque d’Arras* et évêque de Langres.
En septembre 1693, considérant qu’il ne pourrait plus suffire aux soins de sa charge pastorale, il a donné sa démission. Il a alors été pourvu de l’abbaye de Foigny* dans le diocèse de Laon*.
10 ans plus tard, il résigna son bénéfice et fut nommé abbé de l’abbaye Saint-Victor de Marseille*, le 7 septembre 1703. Les bulles de nomination n’arrivèrent qu’au mois d’août 1708 et il les envoya avec sa procuration à Charles Cipriani Saint-Savournin, religieux hôtelier de l’abbaye et prieur de Manosque*, pour prendre possession en son nom. Cette cérémonie est faite le 8 septembre 1708 en présence des échevins*, des consuls, les commandants des citadelles Saint-Jean* et Saint-Nicolas*, et d’une foule importante. Il arriva à Marseille le 27 décembre suivant, sans prévenir pour éviter qu’on le reçoive avec pompe. Il a introduit dans l’abbaye des réformes pour obliger les moines ayant de riches bénéfices de résider dans l’abbaye et respecter les obligations de la règle bénédictine. L’ordre de l’abbaye se composait de 40 ecclésiastiques, soit l’abbé, 17 dignitaires et 22 simples religieux. Certains religieux s’opposèrent à cette réforme qui fut présentée au Conseil d’État qui a accepté par lettres patentes du 20 juillet 1709. Il aurait voulu aller plus loin et introduire dans l’abbaye Saint-Victor la réforme de Saint-Maur*. La municipalité de Marseille s’y est opposé et un arrêt du parlement d’Aix* a repoussé cette réforme par un arrêt du 4 décembre 1716.
Il a exercé à Marseille une importante activité de charité. En 1719 il a créé une fondation donnant 13 bourses pour les élèves du collège de l’Oratoire*. Ses bourses étaient obtenues par concours public ouvert entre élèves qui venaient de terminer le cours de rhétorique*.
À la suite de la peste de 1720 il a prêté à la ville de Marseille la somme de 60 000 livres sans intérêt qui devait être remboursé en juin 1725. Il a fait son testament le 23 mars 1725. En mars 1725, il était à Marseille après un long séjour à Paris et se préparait à aller à Rome.
En juin 1725, il a décidé de faire un don de 100 000 livres pour la reconstruction de l’Hôtel-Dieu de Marseille* qui tombait en ruines. L’acte de donation est passé le 15 juin 1725 devant Me Cuzin, avec le concours des administrateurs des hospices et en présence du lieutenant-général de la sénéchaussée* et des échevins. Le 19 juin, M. de Matignon y a ajouté un don de 20 000 livres pour la construction des bâtiments. La première pierre a été posée le 4 septembre 1753.
En 1725 et 1726, il a financé l’hôpital de La Ciotat* et laissa dans son testament des fonds pour achever la construction. Il fit aussi des legs pour les hospices de La Seyne*, d’Auriol* et d’autres localités relevant de l’abbé de Saint-Victor.
En 1726 il se rendit à Paris et à l’automne il était gravement malade. Il est mort à Paris, à l’hôtel de Matignon*, le 15 mars 1727.