Cousin éloigné de Gnaeus Pompeius Strabo et fils ou petit-fils de Quintus Pompeius, consul en 141 av.jc.
Comme tribun de la plèbe [1] en 100 ou en 99 av. jc, Rufus essaya vainement de faire revenir d’exil Quintus Caecilius Metellus Numidicus. En 91 av. jc, il fut préteur [2] urbain.
En même temps que Lucius Cornelius Sylla, beau-père de son fils qui portait le même nom que lui, il devint consul en 88 av. jc. Il combattit le tribun de la plèbe Publius Sulpicius Rufus qui voulait répartir dans toutes les tribus les nouveaux citoyens italiens et donner à Caius Marius le commandement contre Mithridate. À la suite de cette affaire des partisans de Sulpicius assassinèrent Pompeius Rufus le jeune.
Après la marche de Sylla sur Rome, Pompeius Rufus le soutint dans ses mesures contre ses adversaires politiques et reçut le commandement exercé jusque-là par le proconsul Cnaeus Pompeius Strabo.
Ses soldats l’assassinèrent peut-être à l’instigation de Cnaeus Pompeius Strabo alors qu’il n’avait pas encore terminé son année administrative comme consul.