L'église, dédiée à Notre Dame, a pour ancêtre une chapelle romane.
Au XVIIIème, l'église romane présente des signes de vétusté, la communauté de Cazals se réunie alors et décide de faire des réparations urgentes mais les restaurations sont insuffisantes et l'église sera interdite de culte quelques années plus tard.
C’est en 1874 que les Cazalais construiront une chapelle au-dessus de la rue commerçante. Mais les habitants du quartier de Notre Dame la trouvent trop loin de chez eux et désirent un lieu de culte plus imposant. C'est pour cela qu'il fût décidé de détruire l'ancienne église pour en construire une nouvelle. Ce qui créa un conflit entre l'est et l'ouest de Cazals.
Aujourd'hui, seuls une vierge à l'enfant du XVIème siècle, un retable, des tableaux du XVIIIème et les statues de Saint Côme et Damien rappellent l'ancienne église.