Dès sa création en 1872, l’association des anciens élèves du lycée de Toulouse – qui deviendra l’association des anciens élèves du lycée Pierre de Fermat lorsque le lycée fut ainsi baptisé en 1957 – prend le rythme d’une vie associative particulièrement riche; les premiers prix aux élèves méritants sont en effet remis en 1873 et le premier banquet est organisé dés 1875.