Les bénéfices et défis de la construction de fondations solides pour vos données

Les données sont précieuses, mais exploiter leur valeur intrinsèque peut être difficile, long et coûteux.

D’ailleurs, une enquête d'IBM montre que 90 % du temps des data scientistes est consacré à l'organisation, au nettoyage et au reformatage des données.

De nombreuses organisations ne sont pas en mesure de tirer pleinement parti des données qu'elles possèdent, en raison de l'absence de stratégies de gestion et de gouvernance des données. Or savoir ce que l'on attend des données est pourtant une condition essentielle à la constitution d'une Fondation de données complète et bien structurée, utilisant des données cohérentes, comparables et compatibles pour une exploitation au niveau local, régional et national.

Une Fondation de données solide peut fournir des informations cruciales qui pourront être exploitées dans un large panel d’applications. Qu'il s'agisse de comprendre le comportement des citoyens, de suivre la propagation d'une maladie, de gérer le territoire ou les infrastructures, comme de prendre des décisions en temps de crise, les données fournissent des informations nécessaire à la prise de décision.

Aujourd’hui les gouvernements, les collectivités, les gestionnaires de réseaux d'utilité publique ou de transport, ainsi que les gestionnaires d'immeubles accordent une attention particulière à l'importance stratégique de la compréhension et de l'interprétation des données, et soulignent le potentiel inexploité des données, généralement souvent sous-utilisées.

Cependant, la mise en place d'une Fondation de données efficiente présente des défis particuliers. Une meilleure compréhension de ces derniers permettra d'éviter des écueils et de bénéficier de tout le potentiel qu’offre une gestion efficace des Master Data (ou données de référence).

Qu'est-ce qu'une Fondation de données ?

Une Fondation de données n'est rien d'autre qu'une fondation sur laquelle on peut construire. Pour pousser l'analogie un peu plus loin, vous pouvez concevoir que toutes les applications ou ressources de travail qui utilisent ces données sont les structures construites au-dessus de cette base solide.

Lorsque vous construisez votre fondation de données, il est impératif que votre approche de la gestion des données respecte certains principes :

• Données exactes et complètes - en particulier dans les domaines pertinents pour la prise de décision au sein de votre organisation.
• Source unique de vérité - les données doivent être le socle de base sur laquelle les décisions doivent être prises.
• Soutenues par une stratégie - les données doivent être conformes aux réglementations en vigueur et s'appuyer sur une stratégie de gouvernance des données.
• Interopérabilité et efficacité - les données doivent être interopérables entre les différents systèmes.
• Accessibilité - Les données doivent être facilement accessibles et tous les silos au sein de l'organisation doivent être supprimés.
• Flexibilité et réactivité - Vos systèmes et votre stratégie en matière de données doivent être capables de répondre à l'évolution des données et des besoins, en s'appuyant sur des systèmes normalisés et pérennes.

Les avantages et les bénéfices d’une fondation des données

Dans les entreprises, les administrations et les services publics, les petites erreurs peuvent avoir des conséquences importantes.

En établissant une fondation de données solide et en adoptant les principes de gouvernance des données, vous pouvez libérer la véritable valeur de toutes les données gérées par votre organisation.

1. Amélioration du partage des données, de l'interopérabilité et de l'efficacité

L'efficience est la pierre angulaire d'une prise de décision efficace et de l'efficacité des opérations. Cependant, la recherche de l'efficacité dans une entreprise sans politique efficace de partage des données et sans une fondation de données unifiée peut être un réel défi.

En créant une fondation de données avec des systèmes totalement interconnectés et communicants dans toute l'organisation, vous pourrez réduire le temps perdu à la transformation manuelle des données, ce qui favorisera l'efficacité et l'efficience.

Lors de la mise en place d'une fondation de données standardisée, vous constaterez probablement que certaines données sont rarement partagées entre les services et que toute prise de décision entre les équipes pourrait être considérée comme inefficace.

Vous pouvez également intégrer la pratique de l'utilisation d'identifiants uniques (UID) dans les données de votre entreprise. Les identifiants uniques permettent d'utiliser et de combiner des données provenant de différentes sources et dépassant les frontières organisationnelles, éliminant ainsi toute ambiguïté sur ce que les données représentent. Ils permettent également aux organisations de réutiliser les données existantes tout en réduisant la nécessité de collecter continuellement des données et le nombre de fichiers stockant les mêmes données.

2. Libérer la valeur et réutiliser les données existantes

Étant donné qu'une base de données comprendra toutes les données pertinentes pour votre organisation, le processus de mise en œuvre signifiera que vous devrez analyser toutes les données sous votre contrôle, ce qui conduira inévitablement à la découverte de ces "données perdues".

Avec plus de données à votre disposition, au niveau de l'organisation, vous allez identifier davantage les  processus basés sur les données, ce qui aurait été impossible si vous n'aviez pas mené une étude pour identifier tous les jeux de données.

En fin de compte, l'établissement d'une fondation de données peut mettre en évidence les limites de vos données, ce qui vous permettra d'exploiter de nouvelles informations et ainsi libérer la valeur de toutes les données dont vous disposez.

3. Répondre aux exigences de la réglementation

Une fondation de données rigoureusement appliquée et une stratégie complémentaire de gouvernance des données vous permettront de vous conformer plus facilement aux normes de réglementation des données de votre secteur d'activité.

Par expérience, nous avons constaté que la réglementation des données revêt une importance croissante. De nombreux gouvernements prennent davantage en compte la valeur des données, tout en admettant qu'elles doivent être normalisées et sécurisées.

On peut observer une hausse des exigences en manière de normalisation des données, et rien que dans le domaine géospatial, les données suivant leur nature et usages, doivent respecter les normes françaises ou européennes (Inspire, CNIG, RAEPA, IFC...).

Il existe au Royaume-Uni des projets d’envergure nationale qui utilisent déjà le principe des fondation de données pour répondre efficacement aux exigences législatives. Le National Underground Asset Register (NUAR), pour lequel 1Spatial participe à la construire une fondation de données, est l'un de ces projets. Son objectif est de rassembler les informations sur les actifs souterrains de tout le pays, et de créer une cartographie nationale de tous les actifs enterrés.

Comme on peut s'y attendre, la nature sensible d'une grande partie de ces données implique le respect de normes spécifiques. En créant une fondation de données solide, unifiée dans le cadre d'une stratégie de données unique, le projet garantit que toutes les données sont conformes aux normes réglementaires et répondent aux exigences législatives en vigueur.

4. Améliorer l'analyse des données et la prise de décision en situation critique

Les objectifs d’une organisations nécessitent toujours des données, que ce soit pour mesurer les progrès ou évaluer le succès.

Une fondation de données solide vous permettra de considérer vos données comme une entité homogène, et non pas comme des éléments d'information hétérogènes et sans lien entre eux.

En général, lorsque les données sont difficiles à appréhender, incohérentes, peu fiables et situées dans des systèmes cloisonnés, il est extrêmement difficile d'aligner les décisions fondées sur les données avec les objectifs généraux de l'organisation. Cela crée des difficultés supplémentaires, notamment lorsqu'il s'agit de comprendre comment les données peuvent contribuer à la réalisation de vos objectifs.

C’est pourquoi, des données cohérentes, actualisées et de haute qualité peuvent contribuer à améliorer l'analyse, les prévisions et la décision.

Quels sont les défis liés à la création d’une Fondation de données ?

Si la création d'une Fondation de données complète et de qualité contrôlée était simple, peu d'organisations en seraient dépourvues et l'utilisation efficace des données serait la norme dans tous les secteurs. La réalité est toutefois souvent différente.

En effet, comme dans tout projet d'envergure, plusieurs défis seront à relever. Le degré de difficulté peut varier en fonction de la portée du projet et des exigences attendues. Il peut aussi associer des difficultés d’arbitrage et de mise en œuvre technique.

1. Adhésion des parties prenantes

Avant même de commencer à créer votre fondation de données, vous devrez obtenir l'adhésion des parties prenantes. Cela est particulièrement vrai dans le cadre de grands projets, notamment lorsque vous traitez de grandes quantités de données cloisonnées et disparates.

L'adhésion des parties prenantes pose un certain nombre de problèmes. Les convaincre des avantages à long terme liés au fait de disposer de données dans un format capable d'améliorer les activités est essentiel pour obtenir le soutien financier nécessaire au projet.

2. Absence de propriété des données

Deuxièmement, vous pourrez avoir à faire à des personnes qui seront sceptiques sur la question de la centralisation des données. Il peut s'agir de services ou d'entités qui ont l'habitude de conserver et d'utiliser leurs propres données cloisonnées. Leur résistance peut provenir du fait qu'ils ne veulent pas perdre le contrôle ou la responsabilité des données. La fonction de gestion des données d'une organisation relève généralement de l'équipe informatique, qui gère les données en appliquant des normes, des règles et des contrôles descendants. Les données n'ont souvent pas de véritable "propriétaire" chargé de les actualiser et de veiller à ce qu'elles soient prêtes à une exploitation donnée.

Faire prendre conscience aux équipes des avantages pour l'ensemble de l'organisation est une étape clé dans la création de votre Fondation.

En outre, le temps d'arrêt potentiel pendant l'intégration des données dans la fondation ou pendant la transition vers l'utilisation des données de la fondation pose non seulement un problème d'adhésion, mais également un défi technique.  Les chefs de projet et la direction générale peuvent être réticents à l'idée d'un temps d'arrêt en raison des pressions immédiates exercées sur le projet ou le client. Toute réserve à ce sujet devra être prise en compte.

3. Dimensionnement et ensembles de données cloisonnés

Disposer de grandes quantités de données cloisonnées constitue un défi fondamental pour tous les organisations et dans tous les secteurs.

Lorsque les données sont maintenues dans une variété de formats et dans des différents systèmes, ou sur des fichiers personnels, comprendre comment relier ces systèmes au modèle de votre fondation est un défi. Ceci est d'autant plus critique que la nécessité de disposer de données validées et correctes est la condition sine qua non pour constituer la fondation.

L'interopérabilité fait référence au capacité à échanger des données entre les systèmes en temps réel et, comme une base de données peut inclure plusieurs systèmes travaillant en harmonie, la puissance de l'interopérabilité est l'une des principales exigences sous-jacentes au système.

Le défi fondamental consiste à localiser et à comprendre où se trouvent les données cloisonnées. Souvent, dans les grandes organisations, les données peuvent manquer ou être inconnues en dehors du personnel d'une équipe spécifique. En fait, il n'est pas rare de constater qu'une grande majorité des données d'une organisation sont sous-utilisées, principalement parce qu'elles sont difficiles à extraire et à utiliser.

4. Données non standardisées

Si vous considérez que les données peuvent être cloisonnées et se trouver dans des endroits disparates, il est également probable que vous aurez affaire à des informations dans une grande variété de formats, chacun avec des niveaux de qualité et d'exhaustivité variables.

Même avec deux ensembles de données bien formatées, la différence de type ou de technologie peut constituer un défi lorsqu'on vise l'interopérabilité.

Cela peut être un défi lorsque certains formats de données, comme le LIDAR dans le secteur des SIG, sont non structurés par nature. La création d'un système capable de s'adapter aux nuances des différents formats de données est un défi majeur, qui doit être abordé lors des phases de planification et de stratégie. L'identification et l'utilisation d'identifiants uniques (UID) dans votre ensemble de données sont importantes lorsque vous traitez des données disparates et des formats multiples. Un identifiant unique est une métadonnée numérique ou alphabétique, absolument unique à l'élément en question, qui permet aux utilisateurs de données de trouver les bonnes données dans tous les systèmes. En sachant qu'il y aura probablement des différences dans vos données, mais en utilisant des identifiants uniques, vous pouvez commencer à connecter les données, ce qui vous permettra de relier ces différents formats entre eux.

5.Déchets en entrée, déchets en sortie

Si les données de votre organisation sont de mauvaise qualité et qu'ensuite elles sont intégrées dans votre fondation de données, les analyses et les décisions seront faussées. Savoir quelles données sont de mauvaise qualité, comment les corriger et comment valider leur adéquation avec les besoins d'exploitation de ces informations sont autant de défis que vous devrez relever lors de la création d'une fondation de données.

La duplication peut aussi être une source de problème, surtout lorsqu'il n'est pas évident de savoir si il y a eu duplication en premier lieu. Cela peut se produire lorsque vos identifiants uniques ne représentent pas précisément les données ou n'identifient pas les points communs entre les données (ou bien sûr lorsqu'il n'y a pas d'identifiant unique).

Cependant, il est important de réaliser que toute duplication n'est pas mauvaise, et qu'il existe des systèmes dans lesquels la duplication peut être la norme pour des raisons valables, car différents systèmes contiennent différents cas d'utilisation.

Comment parvenir à la création d'une fondation de données ?

Malgré les défis que vous rencontrez lors de la création d'une fondation de données et d’une stratégie de transformation numérique, les avantages signifient que l'effort en vaut la peine.

Le concept de données de référence s'aligne sur les processus de gestion des données de référence (MDM) et, à bien des égards, l'établissement d'une fondation est la première étape du processus d'intégration du MDM dans une organisation.

Le Master Data Management fait référence à la discipline qui relie ou combine des données provenant de sources multiples dans différents systèmes afin de permettre une analyse améliorée par le biais d'applications, pour laquelle la fondation de données est clairement un élément clé.

1.Identifier

La première étape, qui peut aider à relever les défis posés par les données cloisonnées et inconnues, est l'identification de toutes les sources de données et des consommateurs de données.

En auditant les données actuellement présentes dans votre organisation (et en découvrant les sources inconnues), vous pouvez commencer à comprendre le reste des exigences et l'étendue du travail nécessaire.

Toutes les données que vous avez identifiées comme étant pertinentes pour le fonctionnement de l’organisation représentent vos "données de base", et ce sont ces informations que vous devez cibler pour pouvoir les gérer.

Une fois que vous avez identifié les « master data » dans votre organisation, l'analyse des métadonnées de ces sources de données vous donnera la possibilité de trouver des thématiques communes, des doublons et d'identifier s'il y a des UID (une partie importante du processus plus tard).

2.Planifier puis définir la stratégie et affectation

Une fois que vous avez une compréhension des données de votre organisation, il est temps d'établir la stratégie spécifique que vous utiliserez pour créer une fondation des données et de considérer comment vous utiliserez les concepts de MDM.

Une partie importante de cette planification stratégique consiste à choisir quelles obligations réglementaires et quelles normes de gestion des données vous allez suivre. Ces exigences influenceront chaque étape des processus de gestion des données, car la réglementation et les normes sous-tendent la façon dont vous procédez à la modélisation des données et les niveaux de qualité définis dans les systèmes de données.

En parallèle de la stratégie, vous devrez attribuer des tâches à des "gestionnaires de données" désignés, qui seront responsables de la maintenance, de la qualité et de l'intégration de certains flux de données dans votre système de base. En procédant à ces nominations, vous vous garantissez la responsabilisation de l'ensemble de l'organisation.

Grâce à la mise en œuvre d'une stratégie de gouvernance des données efficace qui se concentre sur la qualité et l'exhaustivité de vos données, vous pourrez mettre en œuvre et bénéficier d'une fondation de données plus efficace.

3.Valider et intégrer

Après avoir identifié les master data et les UID, il est essentiel de s'assurer qu'ils sont prêts pour l'intégration.

Au cours des étapes de planification, vous aurez défini les exigences réglementaires et les normes de qualité auxquelles vos données doivent se conformer. Il s'agit de la norme à respecter pour valider les données dont vous disposez.

Lors de l'intégration, la validation et la correction des données constituent le pivot de la création de la Fondation

4.Gouverner et gérer

La création d'une fondation de données ne se fait pas en une seule fois. La maintenance est permanente et une baisse de la qualité de l'intégration réduira à néant le précieux travail accompli pendant la période de mise en œuvre.

La stratégie de données que vous avez définie dans le cadre du processus de gestion des données de référence doit être maintenue à tout moment, afin de conserver le statut de "source unique de vérité" de votre base. Cette stratégie est soutenue par votre stratégie de gouvernance des données que nous avons décrite à l'étape 1.Une stratégie permanente vous permettra de surveiller, mesurer, gérer et maintenir la qualité, l'intégrité et la fiabilité des données de votre système en permanence. Elle consiste en un ensemble de politiques, de processus et de personnes qui assurent la gestion des données tout au long de leur cycle de vie. La gouvernance des données répond aux "trois C" de la gestion des données : Contrôle, Cohérence et Conformité.