Né à Compiègne au milieu du 11ème siècle, il étudie à Soissons et à Reims. Il fait la connaissance d’Anselme de Cantorbéry, alors prieur ou abbé du Bec, en Normandie. Il enseigne dans sa ville natale de Compiègne, puis à Tours, à Loches et enfin à Besançon. Il n’est pas moine, mais maître ès arts libéraux.
Il fait l’objet d’attaques, de la part de Rupert de Deutz, de Ivan de Chartres, mais surtout d’Anselme de Cantorbéry dans sa Lettre sur l’incarnation du Verbe, par laquelle on connaît les thèses de Roscelin. Il est jugé pour hérésie au concile de Soissons de 1092. On lui reproche, comme plus tard à Abélard, de penser la Trinité divine en termes de logique. L’évêque Ives de Chartres, refuse de l’embaucher dans son diocèse et le met même en garde, ses compatriotes chartrains pourraient l’accueillir à coups de pierre. Il n’est pas officiellement condamné, comme il le dit à Abélard dans une lettre.
Il quitte le Royaume de France pour l’Angleterre, où il s’oppose à Anselme, puis il revient en Touraine. Il est professeur d’Abélard de longues années, à Tours et à Loches, probablement de 1094 à 1099. Saint Anselme l’accuse de persister dans ses erreurs, il le tient pour hérétique et le réfute auprès du pape Urbain II vers. Il meurt à Besançon vers 1121.
La pensée de Roscelin marque un changement important dans la philosophie médiévale ; il est en effet le premier nominaliste dont nous connaissions un peu la doctrine.