Au XIIème siècle, les Templiers s'installent à St-Alban et construisent, au bord de la voie romaine de Carhaix à Alet, la chapelle St-Jacques, fréquentée par les pélerins du Tro-Breiz.
     Trois maisons proches de la chapelle portent des noms rappelant le Temple : les Portes-Rouges, la Ville-Blanche, le Château-Preux.
     Après la suppression de l'ordre des Templiers en 1307, la chapelle revient au duc Jean III.