Pendant plus de quatre siècles, ce qui devait devenir le Collège et le Lycée Pierre de Fermat passa, au gré des différents régimes, de l’appellation de Collège à celle de Lycée.
Au 16ème siècle c’est un Collège Jésuite qui est créé en 1567 dans le magnifique hôtel de BERNUY; c’est le 5ème ou le 6ème Collège jésuite en France (celui de Paris date de 1564 et prendra le nom de Louis Le Grand en 1680).
Après le départ des jésuites en 1764, les Capitouls installent un Collège Royal qui deviendra Collège National à la révolution puis École Centrale de Haute-Garonne en 1794.
Suite au décret impérial de 1802, l’École Nationale devient Lycée Impérial en 1806 avant de redevenir Collège Royal en 1814. A la Révolution de 1848, on reviendra de façon définitive à l’appellation de Lycée. En 1855 est créé le Petit Lycée pour les classes précédant la 6ème (ce petit Lycée sera ensuite remplacé par l’École LAKANAL) et après 1968, le premier cycle, sous le nom de Collège, se sépare peu à peu du Lycée pour s’installer dans les bâtiments les plus anciens; plus de quatre cents ans plus tard, l’Hôtel de BERNUY redevient un Collège.