Préparation du corpus PEDT pour TXM¶

Deux contraintes avec TXM :

• il peut accepter une variété de format de fichiers, mais il faut qu'ils soient tous les mêmes au sein du même dossier "corpus" : soit du TXT (import TXT+CSV), soit du XML (import XML/w+CSV), soit du ODT/DOC (macro).
• même remarque pour l'encodage, et par recommandation, il faudra veiller à ce que l'on est au final des textes en UTF-8.

1) Transformer les documents en texte brut¶

Les sources¶

Le corpus d'origine (après récupération des sources auprès des collectivités) est composé de fichiers avec une variété de formats :

• des fichiers en DOCX, convertis en TXT, (nb = 14, voir la page de suivi)
• des fichiers PDF dont certaines sont à l'état d'images, d'autres ont été enregistrés en mode texte, dont le contenu pourra être accessible sans moyen d'OCR. Même si il existe des utilitaires pour convertir PDF en TXT, cela ne sera pas applicable pour tous les fichiers.
  • "image" (nb = 50, voir la page de suivi)
    • Exemple de pdf uniquement image : PEDT_Amplepuis.pdf, attachment:PEDT_CC_Vitry_Champagne_et_Der.pdf
  • "texte" (nb = 43, voir la page de suivi)
    • Exemple de pdf potentiellement extractable : PEDT_Amfreville_La_mivoie.pdf, PEDT_CC_Mugron.pdf

Pour la manipulation, l'exploration, l'analyse textuelle assistée par ordinateur, selon les outils envisagés, cette non homogénéité du contenu des fichiers pose évidemment problème et il faudra recourir à différents services (OCR, utilitaire pour convertir ODT en TXT, etc...)

Les étapes de transformation¶

Les étapes sont les suivantes, voir éventuellement cette section détaillant les différentes possibilités pour obtenir du texte brut à partir de fichiers variés (PDF image, texte, ODT, DOC, etc...).

A) Si les documents sont à l'origine des PDF-texte, soit :
- dans AdobeReader (Fichier > enregistrer sous une autre forme (texte brut))
- en copiant le texte depuis Adobe vers un document word et enregistrement au format "texte brut"
- (nettoyer éventuellement en supprimant des parties du texte non reconnues ou inutiles pour l'analyse)

B) Si les documents sont à l'origine des PDF-image,

1. passer par un OCR, voir la section dédiée à cette phase
2. récupérer des ODT
3. (nettoyer éventuellement en supprimant des parties du texte non reconnues ou inutiles pour l'analyse)
4. ouvrir et enregistrer les fichiers au format TXT

C) Si les documents sont à l'origine des DOC ou ODT
- (nettoyer éventuellement en supprimant des parties du texte non reconnues ou inutiles pour l'analyse)
- ouvrir et enregistrer les fichiers au format TXT

2) Ajouter un fichier de métadonnées¶

Les métadonnées vont nous permettre de partitionner (calcul des spécificités et AFC) et de renseigner les résultats dans les concordances par exemple (ex: éditer l'affichage des références).

3) Importer dans TXM¶

Nous utilisons l'import TXT + CSV (aller dans le menu "Fichier" > "Importer" > "TXT + CSV")

Pour aller plus loin dans les requêtes, peut-être aurons-nous intérêt à transformer et encoder le corpus en XML.

Le paramétrage :

• choisir l'encodage : utf-8
• vérifier le tableau des métadonnées
• donner une petite description (@author, @date, @title, ...)

On pourra ré-importer plusieurs fois le même corpus au fur et à mesure qu'il grossit (ajout de textes supplémentaires). Dans ce cas, bien penser à supprimer le corpus "PEDT" précédent dans TXM.