Né dans la famille souabe des Von Steusslingen, il fut éduqué à Bamberg. Il devint le confesseur de l’empereur Henri III du Saint Empire romain germanique qui le nomma archevêque de Cologne en 1056. Il prit une part importante au gouvernement de l’Allemagne pendant la minorité d’Henri IV et fut le dirigeant du parti qui en 1062 se saisit de la personne d’Henri, et priva sa mère, la régente Agnès d’Aquitaine, du pouvoir. Pendant un bref laps de temps, il exerça l’autorité dans le Royaume, mais il fut rapidement obligé de la partager avec Adalbert de Brême, archevêque de Brême, et Siegfried 1er archevêque de Mayence, gardant pour lui le contrôle de l’éducation d’Henri et le titre de magister.
La charge de Chancelier du Royaume d’Italie était à cette époque considérée comme faisant partie de l’apanage de l’archevêché de Cologne, et ce fut sans doute la raison pour laquelle il joua un rôle considérable dans le règlement de la dispute sur le pape en 1064. Il déclara au synode de Mantoue en mai 1064 qu’Alexandre II était le véritable pape, et il prit toutes les mesures nécessaires pour assurer cette reconnaissance.
Retournant en Allemagne, il découvrit que le pouvoir était tombé aux mains d’Adalbert, et comme il n’appréciait pas le jeune Roi, il abandonna la Cour. Mais il y revint et retrouva une partie de son influence lorsque Adalbert perdit le pouvoir en 1066.
Il réussit à contrecarrer un soulèvement contre son autorité à Cologne en 1074, et il fut rapporté qu’il s’était allié à Guillaume le Conquérant, roi d’Angleterre, contre l’Empereur. Lavé de ce soupçon, il abandonna tout rôle public et mourut à l’abbaye de Siegburg le 4 décembre 1075 et y fut enterré. Il fonda des monastères et abbayes à Michaelsberg, Grafschaft et Affligem et fut un grand constructeur d’églises. Il était l’avocat du célibat des clercs et de l’introduction d’une discipline stricte dans nombre de monastères. Sa reconnaissance d’Alexandre II eut des conséquences majeures pour Henri IV et pour l’Allemagne. Il fut canonisé en 1183 par le pape Lucius III.
Sa vie fit l’objet de deux importants ouvrages littéraires, en latin Vita Annonis, et en haut allemand médiéval Annolied.