Feature #3004
Mis à jour par Matthieu Decorde il y a plus de 4 ans
If enable the Tokenizer can retokenize words already wrapped with a <w> element
labels:
* re-tokenize pre-encoded words @flyover(Performs word segmentation within word encoding tags.)
* re-segmenter lexicalement les mots pré-encodés @flyover(Réalise une segmentation en mots au sein des balises d'encodage de mots.)
labels:
* re-tokenize pre-encoded words @flyover(Performs word segmentation within word encoding tags.)
* re-segmenter lexicalement les mots pré-encodés @flyover(Réalise une segmentation en mots au sein des balises d'encodage de mots.)