Raymond VII voulait une bastide. Ce sera chose faîte au XIIème siècle en lieu et place de l’ancien village. Le site y est stratégique car un pont est déjà jeté sur le Tarn, permettant de relier l’Albigeois au Toulousain. Un bourg castral est alors créé d’où il pourra contrôler le pont.
Les souterrains qui serpentent sous le bourg ont servi de carrière pour retirer les matériaux de construction du château et de l’église mais aussi de refuge pour les Buzétois.
Depuis le XVIème siècle, l’ombre de Saint Vincent de Paul plane toujours sur la ville. Il était venu y ouvrir un petit pensionnat, lui-même logeant près de l’église.