Bug #3090

RCP: 0.7.8, missing TreeTagger french tokenisation rules V2 : -t- euphoniques

Added by Matthieu Decorde over 2 years ago. Updated about 11 hours ago.

Status:New Start date:11/14/2017
Priority:Normal Due date:
Assignee:Benedicte Pincemin % Done:

0%

Category:Import Spent time: -
Target version:TXM 0.8.4

Description

BP 2019-04-08 - Contribution to diagnostic

The processing for French "t euphonique" is not clear. Here are examples taken from VOEUX :
0013 L'année 1971 n'en [a-t]_ADJ [-elle]_PRO:PER pas apporté quelques preuves ?
0014 l'année de la sagesse. [Puisse-t-]_NOM elle, Français, Françaises, être pour chacun et
0021 de fête. 1980 nous [apportera-t]_VER:simp [-il]_PRO:PER la paix ou la guerre ?
0035 qu'on nous annonce [amorcera-]_NOM [t]_VER:simp [-elle]_PRO:PER la décrue du chômage ?

BP - 2021-06-08

-- le tiret : petite amélioration éventuellement à prévoir pour le -t- euphonique

Index de <.*-.*>, propriété @word, dans le corpus P1-METZ-2021-03-11...
416 items pour 4 096 occurrences.
    -là    846
    peut-être    787
    -ce    597
    est-à-dire    270
    -même    82
    week-end    77
    -    76
    là-bas    73
    là-dessus    73
    Saint-Denis    47
    -mêmes    44
    Peut-être    43
    Etats-Unis    37
    Moyen-Orient    34
    après-midi    29
    au-delà    29
    grand-chose    28
    -il    28
    -moi    28
    -vous    27
    -je    19
    vingt-quatre    19
    -ci    17
    vis-à-vis    17
    ...
=> OK

Cependant le -t- euphonique n'a pas l'air très bien traité :

Index de <.*-t>, propriété @word, dans le corpus P1-METZ-2021-03-11...
6 items pour 23 occurrences.
    semble-t    14
    a-t    2
    -t    2
    va-t    2
    vivra-t    2
    nomme-t    1

Index de <.*-t-.*>, propriété @word, dans le corpus P1-METZ-2021-03-11...
1 items pour 1 occurrences.
    va-t-en-guerre    1

Index de <[word=".*-t"][]>, propriété @word, dans le corpus P1-METZ-2021-03-11...
6 items pour 23 occurrences.
    semble-t -il    14
    a-t -on    2
    -t -il    2
    va-t -on    2
    vivra-t -il    2
    nomme-t -on    1

=> Le -t- euphonique est lié au verbe qui précède. C'est un choix qui permet d'éviter de prévoir cette insertion entre verbe et pronom personnel, cependant cela trouble TreeTagger pour la bonne identification du verbe (lemme et pos) :

Index de <[word=".*-t"][]>, propriété @word_frpos_frlemma, dans le corpus P1-METZ-2021-03-11...
10 items pour 23 occurrences.
    semble-t_VER:simp_semble-t -il_PRO:PER_il    13
    -t_ADJ_-t -il_PRO:PER_il    2
    a-t_ADJ_a-t -on_PRO:PER_on    1
    a-t_VER:cond_a-t -on_PRO:PER_on    1
    nomme-t_VER:cond_nomme-t -on_PRO:PER_on    1
    semble-t_VER:impf_semble-t -il_PRO:PER_il    1
    va-t_NOM_va-t -on_PRO:PER_on    1
    va-t_VER:simp_va-t -on_PRO:PER_on    1
    vivra-t_VER:cond_vivra-t -il_PRO:PER_il    1
    vivra-t_VER:futu_vivra-t -il_PRO:PER_il    1

*** il serait intéressant de faire évoluer le traitement des -t- euphoniques pour les isoler comme mot : -t
(vérifier peut-être si en l'état ils sont eux-mêmes bien reconnus par TT et si cela améliore effectivement l'analyse du verbe). 

BP 2021-06-24

Ce serait bien de concevoir un traitement robuste qui sache aussi gérer des transcriptions non correctement orthographiées comme
est-t-il
a-t'il

Solution

Tokenize

(.*)-t-(.*)
and
(.*)-t'(.*)

to
"$1" + "-t" + "-$2" 

History

#1 Updated by Matthieu Decorde over 2 years ago

  • Priority changed from High to Normal
  • Target version changed from TXM 0.8.2 to TXM 0.8.4
  • % Done changed from 80 to 0

#2 Updated by Matthieu Decorde over 2 years ago

  • Assignee set to Benedicte Pincemin

#3 Updated by Benedicte Pincemin over 2 years ago

  • Description updated (diff)

#4 Updated by Benedicte Pincemin over 2 years ago

  • Description updated (diff)

#5 Updated by Serge Heiden about 12 hours ago

  • Description updated (diff)

#6 Updated by Serge Heiden about 12 hours ago

  • Description updated (diff)

#7 Updated by Alexey Lavrentev about 11 hours ago

Ce ne serait pas plutôt

Tokenize

(.*)(-t)(-.*)
and
(.*)(-t')(.*)

to
"$1" + "$2" + "$3" 

Comme ça on garde le tiret avec le pronom et l'apostrophe avec le -t (même si je ne vois pas trop dans quels cas on utilise l'apostrophe)
to

"$1" + "-t" + "-$2"

#8 Updated by Serge Heiden about 11 hours ago

Alexey Lavrentev a écrit :

Ce ne serait pas plutôt

Tokenize [...] and [...]
to
[...]

Comme ça on garde le tiret avec le pronom et l'apostrophe avec le -t (même si je ne vois pas trop dans quels cas on utilise l'apostrophe)
to

"$1" + "-t" + "-$2"

En fait "-t'" est bien une erreur, mais est effectivement utilisé dans les textes (à tort). Donc l'idée est de normaliser à "-t". Sinon il y a des chances que TreeTagger ne connaisse pas "-t'".

Also available in: Atom PDF