Chantier HN Triangle » Corpus PEDT

h1. Préparation du corpus PEDT pour TXM

Deux contraintes avec TXM :

* il peut accepter une variété de format de fichiers, mais il faut qu'ils soient tous les mêmes au sein du même dossier "corpus" : soit du TXT (import TXT+CSV), soit du XML (import XML/w+CSV), soit du ODT/DOC (macro).

* même remarque pour l'encodage, et par recommandation, il faudra veiller à ce que l'on est au final des textes en UTF-8. 

h2. 1) Transformer les documents en texte brut

h3. Les sources

Le corpus d'origine (après récupération des sources auprès des collectivités) est composé de fichiers avec une variété de formats :

* des fichiers en DOCX, convertis en TXT, (nb = 14, voir [[originaldoc_to_txt|la page de suivi]])

* des fichiers PDF dont certaines sont à l'état d'images, d'autres ont été enregistrés en mode texte, dont le contenu pourra être accessible sans moyen d'OCR. Même si il existe des utilitaires pour convertir PDF en TXT, cela ne sera pas applicable pour tous les fichiers.

** "image" (nb = 50, voir [[originalpdfimage_to_txt|la page de suivi]])

*** Exemple de pdf uniquement image : attachment:PEDT_Amplepuis.pdf, attachment:PEDT_CC_Vitry_Champagne_et_Der.pdf

** "texte" (nb = 43, voir [[originalpdftexte_totxt|la page de suivi]])

*** Exemple de pdf potentiellement extractable : attachment:PEDT_Amfreville_La_mivoie.pdf, attachment:PEDT_CC_Mugron.pdf

Pour la manipulation, l'exploration, l'analyse textuelle assistée par ordinateur, selon les outils envisagés, cette non homogénéité du contenu des fichiers pose évidemment problème et il faudra recourir à différents services (OCR, utilitaire pour convertir ODT en TXT, etc...)

h3. Les étapes de transformation

Les étapes sont les suivantes, voir éventuellement [[ToExploitableCorpus_step|cette section]]  détaillant les différentes possibilités pour obtenir du texte brut à partir de fichiers variés (PDF image, texte, ODT, DOC, etc...). 

A) +Si les documents sont à l'origine des PDF-texte+, soit :

- dans AdobeReader (Fichier > enregistrer sous une autre forme (texte brut))

- en copiant le texte depuis Adobe vers un document word et enregistrement au format "texte brut"

- (nettoyer éventuellement en supprimant des parties du texte non reconnues ou inutiles pour l'analyse)

B) +Si les documents sont à l'origine des PDF-image+, 

# passer par un OCR, voir [[OCR_step|la section dédiée à cette phase]]

# récupérer des ODT

# (nettoyer éventuellement en supprimant des parties du texte non reconnues ou inutiles pour l'analyse)

# ouvrir et enregistrer les fichiers au format TXT

C) +Si les documents sont à l'origine des DOC(X) ou ODT+

- (nettoyer éventuellement en supprimant des parties du texte non reconnues ou inutiles pour l'analyse)

- ouvrir et enregistrer les fichiers au format TXT

h2. 2) Ajouter un fichier de métadonnées

Les métadonnées vont nous permettre de partitionner (calcul des spécificités et AFC) et de renseigner les résultats dans les concordances par exemple (ex: éditer l'affichage des références).

h2. 3) Importer dans TXM

Nous utilisons l'import TXT + CSV (aller dans le menu "Fichier" > "Importer" > "TXT + CSV")

Pour aller plus loin dans les requêtes, peut-être aurons-nous intérêt à transformer et encoder le corpus en XML.

Le paramétrage :

** choisir l'encodage : utf-8

** vérifier le tableau des métadonnées

** donner une petite description (@author, @date, @title, ...)

On pourra ré-importer plusieurs fois le même corpus au fur et à mesure qu'il grossit (ajout de textes supplémentaires). Dans ce cas, bien penser à supprimer le corpus "PEDT" précédent dans TXM.

!{width:70%}TXM_Import_Parametrages.png!