Ainsi, la mention de Gaillac, ou " Galhac " selon la désignation médiévale, figure déjà en 654 dans le testament de Saint Didier, évêque de Cahors, qui lègue alors à son église épiscopale plusieurs villas dont il était propriétaire en Albigeois, parmi lesquelles celle de Gaillac.
Quand la croisade des albigeois survient, à la charnière des XIIème et XIIIème, avec son cortège de massacres qui laisseront un traumatisme durable, Gaillac est relativement épargnée, bien que successivement occupée par les croisés et les comtes de Toulouse.
En 1229, année de la signature du Traité de Paris, qui met un terme aux affrontements. La paix, imposée à Raymond VII, marque la première étape de l'intégration de l'Albigeois au Royaume de France. Inclue dans les villes fortes du Comté de Toulouse à démanteler, Gaillac subit le contrecoup de cette nouvelle situation politique.
Mais la ville connaîtra sa période de déchirure la plus sanglante pendant les guerres de religions du XVIème siècle, quand catholiques et protestants Huguenots s'opposèrent. L'espace d'une décennie (1562 - 1572), plusieurs combats particulièrement violents se déroulent dans l'enceinte de la cité. En mai 1572, de nombreux protestants sont précipités dans le Tarn, par une fenêtre -toujours existante - de l'abbaye. En bas, les bateliers les achèvent. Sporadiquement, ces affrontements perdureront jusqu'à l'accès au trône de France d'Henri IV (1595), Huguenot ayant abjuré le protestantisme.
A l'orée du XVIIème siècle, Gaillac n'est plus la ville épanouie dont le haut moyen âge portait la promesse. Les déchirures des guerres de religions se sont ajoutées aux blessures de la guerre de cent ans et au fléau de la peste. Les longues guerres avec l'Angleterre et les multiples passages de l'épidémie de peste font perdre à la ville la moitié de sa population.