Bug #1872

RCP: 0.7.8beta: slow annotation creation when many word annotations are created

Ajouté par Matthieu Decorde il y a environ 9 ans. Mis à jour il y a plus d'un an.

Statut:Feedback Début:19/09/2016
Priorité:Normal Echéance:
Assigné à:- % réalisé:

80%

Catégorie:Annotation Temps passé: -
Version cible:TXM 0.8.4

Description

When many annotations are created the current code creates as many SQL transactions as annotations to create.

Note : Windows TXM seems slower as annotations are created.

Solution

  1. Create annotation creation methods without transaction and update concordance editor to use only one transaction.
  2. flush & clear the entity manager each new 1000 created entity
  3. if not enough, commit the transaction each new 10000 created entity

Annotation creation time differs from annotation update time :
Create F10 C20: 122s
Create F1 C20: 14s
Create F10 C10: 87s
Create F1 C10: 15s
Update F1,F10 C10,20: 2,5s -> flushing is enough to speed up the process

Validation test

  • Create a concordance with [] query
  • annotate more than 50 000 lines in the concordance
  • check if the duration is OK

Historique

#1 Mis à jour par Matthieu Decorde il y a presque 9 ans

  • Description mis à jour (diff)
  • % réalisé changé de 0 à 60

FR
L'annotation est plus rapide depuis qu'il n'y a qu'une seule session. Il reste toujours le problème de la vérification du chevauchement qui se fait pour chaque annotation et pour toutes les structures CQP.

les voies d'amélioration sont :
  • de ne pas vérifier les chevauchements
  • de limiter la vérification qu'à certaines structures CQP
  • de vérifier le chevauchement de toutes les annotations d'une seule fois
  • de changer de techno ?

#2 Mis à jour par Matthieu Decorde il y a environ 8 ans

  • Version cible changé de TXM 0.7.8 à TXM 0.8.0a (split/restructuration)

#3 Mis à jour par Sebastien Jacquot il y a plus de 7 ans

  • Version cible changé de TXM 0.8.0a (split/restructuration) à TXM 0.8.0

#4 Mis à jour par Matthieu Decorde il y a plus de 6 ans

  • Version cible changé de TXM 0.8.0 à TXM 0.8.2

#5 Mis à jour par Sebastien Jacquot il y a plus de 5 ans

  • Sujet changé de RCP: 0.7.8beta: slow annotation creation when multiple annotation are created à RCP: 0.7.8beta: slow annotation creation when many annotations are created
  • Description mis à jour (diff)
  • Statut changé de New à Feedback
  • Version cible changé de TXM 0.8.2 à TXM 0.8.1
  • % réalisé changé de 60 à 80

#6 Mis à jour par Matthieu Decorde il y a plus de 5 ans

  • Sujet changé de RCP: 0.7.8beta: slow annotation creation when many annotations are created à RCP: 0.7.8beta: slow annotation creation when many word annotations are created
  • Description mis à jour (diff)
  • % réalisé changé de 80 à 50

#7 Mis à jour par Matthieu Decorde il y a plus de 5 ans

  • Description mis à jour (diff)
  • % réalisé changé de 50 à 80

#8 Mis à jour par Matthieu Decorde il y a plus de 5 ans

  • Description mis à jour (diff)

#9 Mis à jour par Matthieu Decorde il y a plus de 5 ans

  • Description mis à jour (diff)

#10 Mis à jour par Sebastien Jacquot il y a plus d'un an

  • Version cible changé de TXM 0.8.1 à TXM 0.8.4

Formats disponibles : Atom PDF