En septembre 1902, en tant que ministre des Cultes, il adresse aux préfets des Côtes-du-Nord, du Finistère et du Morbihan une circulaire exigeant que, dans ces départements, la prédication et le catéchisme soient assurés en français :
« Vous m’avez rendu compte de l’espèce de ténacité que met un grand nombre de titulaires ecclésiastiques à donner l’instruction religieuse, y compris le catéchisme, en dialecte breton. »

Contre cette brimade d’esprit jacobin, ce sont non seulement les évêques et le clergé qui s’élèvent, mais aussi les élus. Dans le diocèse de Quimper, en effet, 80 % des prêtres prêchent en breton, pour la simple raison que c’est la langue maternelle de leurs paroissiens.
Les maires du canton de Plabennec, dans le Finistère, écrivent au président du Conseil :
« Très nombreux sont nos concitoyens qui ne comprennent pas le français. Ce serait donc attenter gravement à leurs habitudes et à leurs besoins moraux que de supprimer l’usage du breton dans les exercices religieux. »
Cela ne trouble guère le président du Conseil, décidé à faire appliquer sa circulaire. Entre 1903 et 1905, 110 prêtres verront leur traitement supprimé pour délit de langue bretonne.

Jean Sévillia : « Quand les catholiques étaient hors la loi » page 128-129