Feature #3004
Mis à jour par Matthieu Decorde il y a plus de 4 ans
If enable the Tokenizer can retokenize words already wrapped with a <w> element.
Enabled for the :
* XTZ import
* XML/w import
element
labels:
* re-tokenize pre-encoded words @flyover(Performs word segmentation within word encoding tags.)
* re-segmenter lexicalement les mots pré-encodés @flyover(Réalise une segmentation en mots au sein des balises d'encodage de mots.)
Enabled for the :
* XTZ import
* XML/w import
element
labels:
* re-tokenize pre-encoded words @flyover(Performs word segmentation within word encoding tags.)
* re-segmenter lexicalement les mots pré-encodés @flyover(Réalise une segmentation en mots au sein des balises d'encodage de mots.)