Fu l'ottavo vescovo di Brescia, la città in cui era nato. Si sa qualcosa sulla sua vita dai suoi dieci Sermoni, inviati ad un meritevole concittadino che perché malato, non poteva recarsi ad ascoltarlo. Gaudemnzio, per la suo umiltà, pensava di svolgere il suo ministero unicamente attraverso la predicazione. I suoi discorsi vennero copiati e diffusi perché richiesti dai fedeli. Quando fu eletto vescovo, a furor di popolo e con l'approvazione di Sant'Ambrogio, era in pellegrinaggio in Terra Santa. Fece parte anche della missione di vescovi(obbligati poi a tornare indietro) che il Papa ha inviò in aiuto di Giovanni Crisostomo. Gaudenzio, molto colto ma insicuro, godeva fama di grande santità e per questo ebbe la stima di grandi personalità religiose e civili del suo tempo.