La première mention d’un « Castellum » de Villemur est datée de 1035. Le site est propice à la défense, naturellement protégé par la rivière, 2 profonds ravins et un coteau abrupt.
Une cité médiévale va s’y développer, à l’abri de ses remparts et de sa Tour de défense. Ces fortifications sont d’ailleurs à l’origine du nom « Ville Mur ». Louis XIII ordonnera la démolition du château et des remparts en 1631. Seule la tour de défense sera épargnée. Mais Villemur c’est aussi l’histoire mouvementée de la ville avec sa rivière qui fait revivre la terrible crue de 1930 qui dévasta une partie de la ville, mais aussi son riche passé industriel avec l’épopée Brusson et l’apogée de sa batellerie au XVIIIéme siècle.