Bug #1872
RCP: 0.7.8beta: slow annotation creation when many word annotations are created
Statut: | Feedback | Début: | 19/09/2016 | ||
---|---|---|---|---|---|
Priorité: | Normal | Echéance: | |||
Assigné à: | - | % réalisé: | 80% |
||
Catégorie: | Annotation | Temps passé: | - | ||
Version cible: | TXM 0.8.4 |
Description
When many annotations are created the current code creates as many SQL transactions as annotations to create.
Note : Windows TXM seems slower as annotations are created.
Solution¶
- Create annotation creation methods without transaction and update concordance editor to use only one transaction.
- flush & clear the entity manager each new 1000 created entity
- if not enough, commit the transaction each new 10000 created entity
Annotation creation time differs from annotation update time :
Create F10 C20: 122s
Create F1 C20: 14s
Create F10 C10: 87s
Create F1 C10: 15s
Update F1,F10 C10,20: 2,5s -> flushing is enough to speed up the process
Validation test¶
- Create a concordance with [] query
- annotate more than 50 000 lines in the concordance
- check if the duration is OK
Historique
#1 Mis à jour par Matthieu Decorde il y a presque 9 ans
- Description mis à jour (diff)
- % réalisé changé de 0 à 60
FR
L'annotation est plus rapide depuis qu'il n'y a qu'une seule session. Il reste toujours le problème de la vérification du chevauchement qui se fait pour chaque annotation et pour toutes les structures CQP.
- de ne pas vérifier les chevauchements
- de limiter la vérification qu'à certaines structures CQP
- de vérifier le chevauchement de toutes les annotations d'une seule fois
- de changer de techno ?
#2 Mis à jour par Matthieu Decorde il y a environ 8 ans
- Version cible changé de TXM 0.7.8 à TXM 0.8.0a (split/restructuration)
#3 Mis à jour par Sebastien Jacquot il y a plus de 7 ans
- Version cible changé de TXM 0.8.0a (split/restructuration) à TXM 0.8.0
#4 Mis à jour par Matthieu Decorde il y a plus de 6 ans
- Version cible changé de TXM 0.8.0 à TXM 0.8.2
#5 Mis à jour par Sebastien Jacquot il y a plus de 5 ans
- Sujet changé de RCP: 0.7.8beta: slow annotation creation when multiple annotation are created à RCP: 0.7.8beta: slow annotation creation when many annotations are created
- Description mis à jour (diff)
- Statut changé de New à Feedback
- Version cible changé de TXM 0.8.2 à TXM 0.8.1
- % réalisé changé de 60 à 80
#6 Mis à jour par Matthieu Decorde il y a plus de 5 ans
- Sujet changé de RCP: 0.7.8beta: slow annotation creation when many annotations are created à RCP: 0.7.8beta: slow annotation creation when many word annotations are created
- Description mis à jour (diff)
- % réalisé changé de 80 à 50
#7 Mis à jour par Matthieu Decorde il y a plus de 5 ans
- Description mis à jour (diff)
- % réalisé changé de 50 à 80
#8 Mis à jour par Matthieu Decorde il y a plus de 5 ans
- Description mis à jour (diff)
#9 Mis à jour par Matthieu Decorde il y a plus de 5 ans
- Description mis à jour (diff)
#10 Mis à jour par Sebastien Jacquot il y a plus d'un an
- Version cible changé de TXM 0.8.1 à TXM 0.8.4