Descendant d’une riche famille sénatoriale, il épousa Galla Placidia la Jeune, fille de l’empereur Valentinien III.
En 455, lors du second sac de Rome par les Vandales [1], il fut emmené par Genséric comme otage avec la veuve de Valentinien III et ses 2 filles. Cette captivité ne fut probablement pas très pénible, car Genséric sut apprécier les qualités d’Olybrius, au point qu’il le libéra en 462. Olybrius et son épouse s’installèrent à Constantinople [2].
En 465, à la mort de l’empereur d’Occident Libius Severus, Genséric et l’empereur d’Orient Léon 1er envisagèrent de le nommer empereur. Finalement Léon 1er lui préféra son général Anthémius.
En 472, le patrice Ricimer entra en conflit ouvert avec l’empereur Anthémius et appella Olybrius, qui bénéficiait d’une certaine légitimité comme ancien gendre de Valentinien III, et disposait de l’appui de la classe sénatoriale et du roi des Vandales Genséric. Olybrius débarqua en Italie et fut proclamé empereur devant Rome assiégée en avril 472.
Ricimer décède en août 472 et Olybrius le remplaça par son neveu, le jeune prince burgonde Gondebaud, avec le titre de patrice. Ce choix pouvait apporter à Olybrius le soutien supplémentaire des Burgondes.
Cependant son pouvoir ne dépassa pas l’Italie, et l’empereur d’Orient Léon 1er ne le reconnaît pas. Mais il n’a pas le temps de régner, il décède à son tour en octobre 472. Gondebaud resta seul maître d’Italie, mais son origine barbare lui interdisait le titre impérial. Il attendra 4 mois avant de trouver le successeur d’Olybrius, ce sera Glycerius.