Laboratoire ICAR » Plateforme TXM

FR:
Je fais une concordance sur ‘-l.*’ (pour -là) :
j’obtiens ceci :

Remarquez d’abord que le -là est tronqué ; il perd son ‘à’, chose qui ne se passe pas avec Bar-le-Duc.
Remarquez aussi que des tokens à droite ont aussi à disparu.
Première concordance, le contexte droit devrait être : , les aviateurs nancéiens
La deuxième concordance, elle, est complète.
N°8 : Le sous-lieutenant d’artillerie est devenu sous-l d’artillerie (alors qu’il n’y a pas d’accent dans lieutenant)
N°10 : Les environs de Bar-le-Duc sont incomplets.

Solution¶

1) fix the frclitics rule :

public static String FClitic_fr = '-t-elles?|-t-ils?|-t-on|-ce|-elles?|-ils?|-je|-la|-les?|-leur|-lui|-mmes?|-m\'|-moi|-nous|-on|-toi|-tu|-t\'|-vous|-en|-y|-ci|-l';

to

public static String FClitic_fr = '-t-elles?|-t-ils?|-t-on|-ce|-elles?|-ils?|-je|-la|-les?|-leur|-lui|-mmes?|-m\'|-moi|-nous|-on|-toi|-tu|-t\'|-vous|-en|-y|-ci|-là';

2) process the trailing characters after the clitic detection

Note: "Bar-le-Duc" is now tokenized "Bar" "-le" "-Duc" (instead of "Bar" "-le")

Validation test¶

Import with clipboard import the following text :

Note: "Bar-le-Duc" is now tokenized "Bar" "-le" "-Duc" (instead of "Bar" "-le")

and see if : "Bar-le-Duc" is now tokenized "Bar" "-le" "-Duc" (instead of "Bar" "-le")