Au coeur du Segala lotois, la puissante famille féodale des Cardaillac a fondé le village et lui a donné son nom.
Lorsque Pépin le
Bref concède les terres de Cardaillac au chevalier Bertrand et à ses descendants, il assure au village son rayonnement futur. Avec
deux falaises pour fortifications naturelles, le fort, achevé au XIIème S., s'avance sur un éperon triangulaire. Des remparts, trois
tours subsistent : la Tour ronde, la Tour de l'Horloge, qui servit de prison et la Tour de Sagnes, offrant une vue panoramique sur
le village. Au XIVème, la baronne de Cardaillac compte une vingtaine de paroisses et possède plusieurs châteaux quercynois. La cité
est attaquée durant la guerre de Cent Ans puis les guerres de religion. Les Cardaillacois constituent alors la plus forte communauté
protestante du haut Quercy et participent à la destruction de l'église St Julien. Rendu au culte catholique par l'édit de Nantes,
l'édifice est reconstruit au XVIIème, tandis que le fort passe aux mains des réformés. A la révocation de l'édit de Nantes, les remparts
sont abbatus et les tours rasées.