Nettoyage des données des publications et des journaux¶

Doublons (identifiant) dans les publications¶

Après fusion des deux tableaux des publications et des republications, pour devenir un seul fichier : attachment:"table_publications_and_republications_reference.ods", il a fallu vérifier et corriger les éventuels doublons avec le script attachment:findDuplicateIds.py.

Le script écrit la liste des doublons et j'ai modifié directement dans le fichier (cf: noté ci-après)

$ cd ~/Documents/workspaceGit/MarcoBorelli/Transformation/SecondPublications
$ python scripts/findDuplicateIds.py table_publications_and_republications_reference.csv 

First line (and first column) :  id_publication 
         FIND DUPLICATE [ Publi267-6 ], un sera renommé : Publi267-11
         FIND DUPLICATE [ Publi327-1 ], un sera supprimé car il s'agit d'une re-publication d'après le commentaire (*novella che viene elaborata a partire da 5 frammenti comparsi nella Tribuna)
         FIND DUPLICATE [ Publi395-7 ], un sera supprimé car il s'agit d'une re-publication d'après le commentaire (è nel 1893 che compaiono le 4 favole * ma di cui una già pubblicata quindi da non contare qui)
         FIND DUPLICATE [ Publi69-1 ], un sera renommé : Publi69-4
         FIND DUPLICATE [ Publi90-36 ], un sera renommé : Publi90-41
         FIND DUPLICATE [ Publi90-37 ], un sera renommé : Publi90-42

Homonymes dans la liste des journaux¶

Du fait des articles ("La" "L'" "Le") qui précèdent les noms des journaux, parfois présent, parfois absent dans les fichiers de Marco, le premier script générant les publications a crée des doublons parmi les journaux. Voici une liste générée homonymsPapers.ods (à laquelle j'ai ajouté une petite mise en forme) grâce à un script (findDuplicatePapers.py) détectant les possibles pairs entre journaux (essentiellement basée sur ces articles manquants).

$ cd ~/Documents/workspaceGit/MarcoBorelli/Transformation/SecondPublications
$ python scripts/findDuplicatePapers.py table_papers_reference.csv 

 # Paper422 # LA RASSEGNA NAZIONALE # Paper27 # RASSEGNA NAZIONALE
# Paper285 # LA RIVIERA LIGURE # Paper92 # RIVIERA LIGURE
# Paper253 # ALMANACCO DEL FANFULLA DEL 1889 # Paper14 # FANFULLA
# Paper50 # LA DOMENICA DEL FRACASSA # Paper64 # DOMENICA DEL FRACASSA

Il faudra valider cette liste et la prendre en paramètre du dernier script qui permettra le ré-réferencement des publications (à un seul et même journal).