Bug #763

Updated by Alexey Lavrentev over 5 years ago

The current Concordance export loads all the concordance Lines in memory before writing them into the CSV file which leads to memory exhaustion for voluminous concordance results.

h2. Solution

A solution is to write the concordance lines per packet, letting early packets to be garbage collected to keep memory consumption level.

2 development steps :
A- Create a macro (to provide a rapid answer)
B- Fix Concordance.toTxt(...) in sources and produce an update

h2. Recette macro (FR)

- Télécharger l'archive de la macro (pièce jointe)
- copier le dossier "export" que l'archive contient dans le dossier des macros de TXM (<code>$TXMHOME/scripts/macro</code> (et non "macros" !)). TXM.
- faire une concordance de "[]" sur BROWN
- lancer la macro sur la concordance
- vérifier que le nombre de lignes (wc -l) est le nombre de résultat + 1 (l'entête)

h2. Recette maj (FR)

- ...
- faire une concordance de "[]" sur BROWN
- lancer la macro sur la concordance
- vérifier que le nombre de lignes (wc -l) est le nombre de résultat + 1 (l'entête)

Back