Bug #3090
RCP: 0.7.8, missing TreeTagger french tokenisation rules V2 : -t- euphoniques
Status: | New | Start date: | 11/14/2017 | |
---|---|---|---|---|
Priority: | Normal | Due date: | ||
Assignee: | Benedicte Pincemin | % Done: | 0% |
|
Category: | Import | Spent time: | - | |
Target version: | TXM 0.8.4 |
Description
BP 2019-04-08 - Contribution to diagnostic
The processing for French "t euphonique" is not clear. Here are examples taken from VOEUX :
0013 L'année 1971 n'en [a-t]_ADJ [-elle]_PRO:PER pas apporté quelques preuves ?
0014 l'année de la sagesse. [Puisse-t-]_NOM elle, Français, Françaises, être pour chacun et
0021 de fête. 1980 nous [apportera-t]_VER:simp [-il]_PRO:PER la paix ou la guerre ?
0035 qu'on nous annonce [amorcera-]_NOM [t]_VER:simp [-elle]_PRO:PER la décrue du chômage ?
BP - 2021-06-08
-- le tiret : petite amélioration éventuellement à prévoir pour le -t- euphonique Index de <.*-.*>, propriété @word, dans le corpus P1-METZ-2021-03-11... 416 items pour 4 096 occurrences. -là 846 peut-être 787 -ce 597 est-à-dire 270 -même 82 week-end 77 - 76 là-bas 73 là-dessus 73 Saint-Denis 47 -mêmes 44 Peut-être 43 Etats-Unis 37 Moyen-Orient 34 après-midi 29 au-delà 29 grand-chose 28 -il 28 -moi 28 -vous 27 -je 19 vingt-quatre 19 -ci 17 vis-à-vis 17 ... => OK Cependant le -t- euphonique n'a pas l'air très bien traité : Index de <.*-t>, propriété @word, dans le corpus P1-METZ-2021-03-11... 6 items pour 23 occurrences. semble-t 14 a-t 2 -t 2 va-t 2 vivra-t 2 nomme-t 1 Index de <.*-t-.*>, propriété @word, dans le corpus P1-METZ-2021-03-11... 1 items pour 1 occurrences. va-t-en-guerre 1 Index de <[word=".*-t"][]>, propriété @word, dans le corpus P1-METZ-2021-03-11... 6 items pour 23 occurrences. semble-t -il 14 a-t -on 2 -t -il 2 va-t -on 2 vivra-t -il 2 nomme-t -on 1 => Le -t- euphonique est lié au verbe qui précède. C'est un choix qui permet d'éviter de prévoir cette insertion entre verbe et pronom personnel, cependant cela trouble TreeTagger pour la bonne identification du verbe (lemme et pos) : Index de <[word=".*-t"][]>, propriété @word_frpos_frlemma, dans le corpus P1-METZ-2021-03-11... 10 items pour 23 occurrences. semble-t_VER:simp_semble-t -il_PRO:PER_il 13 -t_ADJ_-t -il_PRO:PER_il 2 a-t_ADJ_a-t -on_PRO:PER_on 1 a-t_VER:cond_a-t -on_PRO:PER_on 1 nomme-t_VER:cond_nomme-t -on_PRO:PER_on 1 semble-t_VER:impf_semble-t -il_PRO:PER_il 1 va-t_NOM_va-t -on_PRO:PER_on 1 va-t_VER:simp_va-t -on_PRO:PER_on 1 vivra-t_VER:cond_vivra-t -il_PRO:PER_il 1 vivra-t_VER:futu_vivra-t -il_PRO:PER_il 1 *** il serait intéressant de faire évoluer le traitement des -t- euphoniques pour les isoler comme mot : -t (vérifier peut-être si en l'état ils sont eux-mêmes bien reconnus par TT et si cela améliore effectivement l'analyse du verbe).
BP 2021-06-24
Ce serait bien de concevoir un traitement robuste qui sache aussi gérer des transcriptions non correctement orthographiées comme
est-t-il
a-t'il
Solution¶
Tokenize
(.*)-t-(.*)and
(.*)-t'(.*)
to
"$1" + "-t" + "-$2"
History
#1 Updated by Matthieu Decorde over 2 years ago
- Priority changed from High to Normal
- Target version changed from TXM 0.8.2 to TXM 0.8.4
- % Done changed from 80 to 0
#2 Updated by Matthieu Decorde over 2 years ago
- Assignee set to Benedicte Pincemin
#3 Updated by Benedicte Pincemin over 2 years ago
- Description updated (diff)
#4 Updated by Benedicte Pincemin over 2 years ago
- Description updated (diff)
#5 Updated by Serge Heiden about 12 hours ago
- Description updated (diff)
#6 Updated by Serge Heiden about 12 hours ago
- Description updated (diff)
#7 Updated by Alexey Lavrentev about 11 hours ago
Ce ne serait pas plutôt
Tokenize
(.*)(-t)(-.*)and
(.*)(-t')(.*)
to
"$1" + "$2" + "$3"
Comme ça on garde le tiret avec le pronom et l'apostrophe avec le -t (même si je ne vois pas trop dans quels cas on utilise l'apostrophe)
to
"$1" + "-t" + "-$2"
#8 Updated by Serge Heiden about 11 hours ago
Alexey Lavrentev a écrit :
Ce ne serait pas plutôt
Tokenize [...] and [...]
to
[...]Comme ça on garde le tiret avec le pronom et l'apostrophe avec le -t (même si je ne vois pas trop dans quels cas on utilise l'apostrophe)
to"$1" + "-t" + "-$2"
En fait "-t'" est bien une erreur, mais est effectivement utilisé dans les textes (à tort). Donc l'idée est de normaliser à "-t". Sinon il y a des chances que TreeTagger ne connaisse pas "-t'".