La Fiabilisation de données

Problématique

La Fiabilisation de données ou data cleansing est une opération consistant à contrôler et améliorer la qualité des données d’un système d’information, par rapport à ses règles d’intégrité et de gestion ou celles d’un système vers lequel on souhaite migrer.
La qualité des données d’un système est souvent surestimée et de nombreux motifs, parfois légitimes, tendent à la compromettre :

  • Ancienneté du système :
    • Manque de contrôles sur certaines zones « normalisées ». Exemple adresses postales qui souvent ne sont pas conformes au référentiel postal et nécessitent un chantier de « normalisation d’adresses »
    • Absence d’intégrité référentiel du modèle de données
    • Manque de contrôles applicatifs
  • Doublons fortuits ou voulus : La présence de doublons est fréquente, notamment sur les personnes physiques ou morales. Elle souvent subie mais parfois aussi voulue par les utilisateurs car c’est ainsi qu’ils ont gérés des manques fonctionnels de l’applicatif.
  • Détournement de certaines zones par les utilisateurs pour gérer de nouvelles informations
  • Anomalies de données causées par des bugs applicatifs corrigés tardivement
  • Informations incomplètes, forçage informations, contournement de contrôles…

Les coûts engendrés par le manque de qualité des données sont loin d’être négligeables :

Coûts directs :

  • Tarifs postaux plus élevés en raison de la mauvaise qualité des adresses, ou envois multiples aux doublons
  • Plantages applicatifs
  • Statistiques approximatives voire fausses
  • Impossibilité de consolider des informations parfois règlementaires.
  • Fiabilisation impérative dans le cadre de la mise en œuvre d’une nouvelle application ou d’un nouveau système
  • Etc..

Coûts indirects :

  • Perte d’image
  • Perte de productivité
  • Etc…

Un projet de fiabilisation de données, peut être lancé de manière indépendante ou dans le cadre de la migration vers un nouveau système.

Dans le premier cas, il convient de vérifier la qualité des données par rapport aux règles métier et d’intégrité du système sur lequel les données sont exploitées. Pour être efficace, il est souhaitable d’intégrer les moyens de contrôles développés dans processus récurrent de mesure de la qualité des données.

Dans le cadre de la migration vers un nouveau système, il est préférable de contrôler les données (sources) par rapport aux règles d’intégrité du nouveau système (cible) et de mettre en place au plus tôt le chantier de fiabilisation, qui est sur le chemin critique et peut impliquer des opérations manuelles longues avec un impact fort sur le planning du projet global.
Dans tous les cas, on privilégiera les fiabilisation automatiques pour alléger le coût de ces opérations.

 

Méthodologie et outils

Notre approche fortement outillée de ces opérations, nous permet d’automatiser un grand nombre d’opérations :
Nos outils d’analyse de système Recode permet à partir :

  • Du  modèle physique des données,
  • des programmes,
  • des données réelles,
  • des cas d’utilisation,

de générer des module de contrôles qui pourront être exécutés régulièrement.

Les restitutions comportent des tableaux de bord généraux permettant de mesurer la progression du chantier de fiabilisation ainsi que des états métier, reprenant les motifs de rejets classés par service et volumétrie comprenant.

Les listes de détail d’anomalie sont enrichies avec la signalétique fonctionnelle du dossier, permettant à l’utilisateur de le retrouver dans l’applicatif Source et Cible.
Nos ateliers, permettent une automatisation poussée de ces travaux et des résultats rapidement disponibles.

 

schema 3

 

Environnements

Notre technologie nous permet d’intervenir sur tous les environnements techniques:

Système d’exploitation MVS, DOS VSE, VM, GCOS 7, GCOS 8, VMS,  UNIX, AS400, WINDOWS, HP3000…

SGBD: DB2, ORACLE, SYBASE, SQLserver, SQL, INFORMIX, DL1, IDMS, IDS2, ADABAS, DATACOM, IMAGE..

Nous disposons de compétences fonctionnelles fortes en Banque, Assurance, Retraite, Prévoyance, Distribution, RH Ressources Humaines,…

 

Références

Groupes de protection sociales, Assurances, Banques …

ZOOM :

Move Solutions est l’opérateur de migration de référence des projets de migration vers l’Usine Retraite, la nouvelle plate-forme communautaire des caisses de retraite complémentaires AGIRC & ARRCO.

La qualité des données attendues nécessite une étape de fiabilisation poussée qui doit être menée le plus tôt possible afin de ne pas impacter le planning de déploiement.

Dans ce but, nous avons mis en place une infrastructure industrielle d’analyse des données sources relativement aux règles de gestion et d’intégrité du système cible Usine Retraite.

Cette offre à très forte valeur ajoutée pour nos clients, sécurise leurs projets de convergence en s’appuyant sur nos outils de capitalisation fonctionnelle et la puissance de nos ateliers de génération.