Bug #3090
RCP: 0.7.8, missing TreeTagger french tokenisation rules V2 : -t- euphoniques
Statut: | New | Début: | 14/11/2017 | |
---|---|---|---|---|
Priorité: | Normal | Echéance: | ||
Assigné à: | Benedicte Pincemin | % réalisé: | 0% |
|
Catégorie: | Import | Temps passé: | - | |
Version cible: | TXM 0.8.4 |
Description
BP 2019-04-08 - Contribution to diagnostic
The processing for French "t euphonique" is not clear. Here are examples taken from VOEUX :
0013 L'année 1971 n'en [a-t]_ADJ [-elle]_PRO:PER pas apporté quelques preuves ?
0014 l'année de la sagesse. [Puisse-t-]_NOM elle, Français, Françaises, être pour chacun et
0021 de fête. 1980 nous [apportera-t]_VER:simp [-il]_PRO:PER la paix ou la guerre ?
0035 qu'on nous annonce [amorcera-]_NOM [t]_VER:simp [-elle]_PRO:PER la décrue du chômage ?
BP - 2021-06-08
-- le tiret : petite amélioration éventuellement à prévoir pour le -t- euphonique Index de <.*-.*>, propriété @word, dans le corpus P1-METZ-2021-03-11... 416 items pour 4 096 occurrences. -là 846 peut-être 787 -ce 597 est-à-dire 270 -même 82 week-end 77 - 76 là-bas 73 là-dessus 73 Saint-Denis 47 -mêmes 44 Peut-être 43 Etats-Unis 37 Moyen-Orient 34 après-midi 29 au-delà 29 grand-chose 28 -il 28 -moi 28 -vous 27 -je 19 vingt-quatre 19 -ci 17 vis-à-vis 17 ... => OK Cependant le -t- euphonique n'a pas l'air très bien traité : Index de <.*-t>, propriété @word, dans le corpus P1-METZ-2021-03-11... 6 items pour 23 occurrences. semble-t 14 a-t 2 -t 2 va-t 2 vivra-t 2 nomme-t 1 Index de <.*-t-.*>, propriété @word, dans le corpus P1-METZ-2021-03-11... 1 items pour 1 occurrences. va-t-en-guerre 1 Index de <[word=".*-t"][]>, propriété @word, dans le corpus P1-METZ-2021-03-11... 6 items pour 23 occurrences. semble-t -il 14 a-t -on 2 -t -il 2 va-t -on 2 vivra-t -il 2 nomme-t -on 1 => Le -t- euphonique est lié au verbe qui précède. C'est un choix qui permet d'éviter de prévoir cette insertion entre verbe et pronom personnel, cependant cela trouble TreeTagger pour la bonne identification du verbe (lemme et pos) : Index de <[word=".*-t"][]>, propriété @word_frpos_frlemma, dans le corpus P1-METZ-2021-03-11... 10 items pour 23 occurrences. semble-t_VER:simp_semble-t -il_PRO:PER_il 13 -t_ADJ_-t -il_PRO:PER_il 2 a-t_ADJ_a-t -on_PRO:PER_on 1 a-t_VER:cond_a-t -on_PRO:PER_on 1 nomme-t_VER:cond_nomme-t -on_PRO:PER_on 1 semble-t_VER:impf_semble-t -il_PRO:PER_il 1 va-t_NOM_va-t -on_PRO:PER_on 1 va-t_VER:simp_va-t -on_PRO:PER_on 1 vivra-t_VER:cond_vivra-t -il_PRO:PER_il 1 vivra-t_VER:futu_vivra-t -il_PRO:PER_il 1 *** il serait intéressant de faire évoluer le traitement des -t- euphoniques pour les isoler comme mot : -t (vérifier peut-être si en l'état ils sont eux-mêmes bien reconnus par TT et si cela améliore effectivement l'analyse du verbe).
BP 2021-06-24
Ce serait bien de concevoir un traitement robuste qui sache aussi gérer des transcriptions non correctement orthographiées comme
est-t-il
a-t'il
Solution¶
Tokenize
(.*)-t-(.*)and
(.*)-t'(.*)
to
"$1" + "-t" + "-$2"
Historique
#1 Mis à jour par Matthieu Decorde il y a plus de 4 ans
- Priorité changé de High à Normal
- Version cible changé de TXM 0.8.2 à TXM 0.8.4
- % réalisé changé de 80 à 0
#2 Mis à jour par Matthieu Decorde il y a plus de 4 ans
- Assigné à mis à Benedicte Pincemin
#3 Mis à jour par Benedicte Pincemin il y a plus de 4 ans
- Description mis à jour (diff)
#4 Mis à jour par Benedicte Pincemin il y a plus de 4 ans
- Description mis à jour (diff)
#5 Mis à jour par Serge Heiden il y a presque 2 ans
- Description mis à jour (diff)
#6 Mis à jour par Serge Heiden il y a presque 2 ans
- Description mis à jour (diff)
#7 Mis à jour par Alexey Lavrentev il y a presque 2 ans
Ce ne serait pas plutôt
Tokenize
(.*)(-t)(-.*)and
(.*)(-t')(.*)
to
"$1" + "$2" + "$3"
Comme ça on garde le tiret avec le pronom et l'apostrophe avec le -t (même si je ne vois pas trop dans quels cas on utilise l'apostrophe)
to
"$1" + "-t" + "-$2"
#8 Mis à jour par Serge Heiden il y a presque 2 ans
Alexey Lavrentev a écrit :
Ce ne serait pas plutôt
Tokenize [...] and [...]
to
[...]Comme ça on garde le tiret avec le pronom et l'apostrophe avec le -t (même si je ne vois pas trop dans quels cas on utilise l'apostrophe)
to"$1" + "-t" + "-$2"
En fait "-t'" est bien une erreur, mais est effectivement utilisé dans les textes (à tort). Donc l'idée est de normaliser à "-t". Sinon il y a des chances que TreeTagger ne connaisse pas "-t'".