3 étapes pour optimiser votre chaîne d'approvisionnement de données

À l'ère de la prise de décision basée sur les données et de la consommation numérique, les données sont sans doute l'actif le plus précieux d'une entreprise.

Nous avons déjà comparé les données au pétrole, mais nous aimons maintenant dire que "les données sont le nouveau miel" - car pour vraiment en tirer de la valeur, elles doivent d'abord être collectées et traitées par de multiples personnes, et souvent de nombreuses technologies.

Il est donc essentiel de collaborer avec l'ensemble de l'organisation et de sa chaîne d'approvisionnement en données, comme nous le ferions pour n'importe quelle autre chaîne d'approvisionnement - en transformant les matières premières (physiques ou numériques) en produits finis ou en intelligence. De même, les chaînes d'approvisionnement en données doivent être optimisées en termes de qualité, d'efficacité du traitement, de sécurité et pour offrir une valeur maximale aux consommateurs.

Défis courants dans la chaîne d'approvisionnement des données

1. Des objectifs différents pour les données

Commençons par le commencement - lors de la récolte des données brutes sur le terrain. Les données sont généralement collectées en vue d'une utilisation spécifique, voire pour un type spécifique d'utilisateur ou de persona. Par exemple, un géomètre peut numériser un nouveau lotissement dans le but d'enregistrer les empreintes des bâtiments. Il ne tiendra peut-être pas compte des points d'accès aux bâtiments, des données d'adresse ou d'autres métadonnées relatives à l'utilisation des bâtiments. Peut-être s'agit-il d'un bâtiment à occupation multiple ? Ou bien il s'agit d'un bâtiment commercial tel qu'un magasin de quartier. Ces détails peuvent ne pas être enregistrés avec précision car ils sont hors du champ d'application du programme de collecte de données, mais ils peuvent présenter une valeur énorme pour d'autres cas d'utilisation des données (par exemple, pour la collecte des taxes dans les bâtiments à occupation multiple).

2. Des techniques et des formats différents

Lorsque les données sont collectées par différentes parties, il y a souvent de subtiles différences de format ou de schéma. Cela peut être dû à l'outillage, aux techniques de capture, aux différents niveaux de contrôle de la qualité chez chaque fournisseur, ou simplement aux habitudes d'un collecteur de données particulier.

La conformité aux exigences données est cruciale au stade de la capture des données. Il existe souvent des normes et des spécifications auxquelles les données doivent se conformer, idéalement pendant la capture et avant la soumission des données, mais il n'est pas rare que les données soient vérifiées après leur création et à leur réception. Les implications et les risques liés à la non-conformité à ces normes sont les suivants : retards, nouvelles enquêtes, inefficacité et, en fin de compte, augmentation des coûts.

3. Volumes de données

Mais les défis ne s'arrêtent pas à cette extrémité de la chaîne d'approvisionnement : une fois collectées, les données doivent être traitées. Les volumes de données collectées augmentent de façon exponentielle chaque jour, ce qui peut représenter une tâche monumentale pour les agrégateurs et les processeurs de données.

Pensez à des organisations telles que le US Census Bureau, qui doit collecter tous les dix ans les données de tous les citoyens américains, en combinant les données sur les frontières et les routes des gouvernements des États, des collectivités locales et des tribus avec les données d'adressage du service postal. De même, le projet National Underground Asset project (NUAR) compte environ 650 propriétaires (utilisateurs) d'actifs, qui peuvent chacun disposer d'une douzaine de groupes de données. Certains de ces groupes comptent de 100 à 100 000 éléments.

4. Des données en mouvement

Outre la collecte de nouvelles données, un autre défi consiste à modifier les actifs existants, surtout si un tiers intègre cet actif de données dans son processus commercial. C'est là que le cycle de vie des caractéristiques et les identifiants uniques sont essentiels. Par exemple, si un champ ou un tuyau est divisé en deux, l'identifiant de la caractéristique originale peut rester avec la plus grande caractéristique, et un nouvel identifiant sera créé pour la plus petite. Quels autres systèmes ou données utilisent ces identifiants ? Les autres systèmes doivent-ils être informés du changement ? Pour une gestion efficace des données de base, il est essentiel de disposer de processus commerciaux qui effectuent une mise en correspondance appropriée avec d'autres données commerciales.

Si ces grandes quantités de données ne sont pas traitées assez rapidement, les consommateurs s'apercevront que les données sont déjà obsolètes ou "périmées", et tout ce dur labeur aura été gaspillé. De même, si les données ne sont pas stockées de manière structurée et utile, comment les consommateurs de données peuvent-ils trouver ce qu'ils ont besoin de savoir, prendre des décisions fondées ou même savoir ce qui est ou n'est pas disponible pour eux ?

5. Interopérabilité

L'interopérabilité, ou la capacité d'échanger des informations en toute sécurité entre les systèmes, est cruciale pour l'accès et la livraison de vos données tout au long de la chaîne d'approvisionnement. Il peut s'avérer particulièrement difficile de garantir cette interopérabilité entre plusieurs systèmes, notamment lorsque des technologies anciennes sont utilisées. Tout processus que vous concevez pour votre chaîne d'approvisionnement doit être adaptable et évolutif pour des charges de données et des exigences de sécurité en constante augmentation.

Les avantages d'une chaîne d'approvisionnement en données solide

Au-delà du simple fait d'éviter les problèmes que nous avons décrits, la mise en place d'une chaîne d'approvisionnement solide pour les données offre également de nouvelles opportunités, en particulier si nous considérons les données comme un produit à part entière (qui apportera une valeur continue à l'organisation).

1. Réutiliser et réduire

L'optimisation du partage et de la réutilisation des données permet d'obtenir une plus grande variété de produits finis, ce qui accélère l'innovation et peut vous aider à aborder de nouveaux marchés. Cela peut également réduire la quantité de travail à effectuer sur le terrain - pas besoin de collecter deux fois des données sans le savoir si vos processus et votre pipeline sont suffisamment transparents. En veillant à ce que vos données soient correctes et complètes au moment de la collecte, vous réduisez le nombre de visites sur le terrain et vous économisez du temps, de l'argent et de la frustration !

2. Intégrer et innover

L'emplacement peut souvent être la clé pour relier différents ensembles de données, car tout se passe quelque part.

Améliorer la facilité de découverte de vos données grâce à une bonne structure et à une bonne indexation peut être la clé de l'innovation. Après tout, vous devez connaître les ingrédients dont vous disposez avant de pouvoir élaborer de nouvelles recettes. Et si l'ingrédient clé de l'assaisonnement était caché au fond de votre armoire sans que vous ne sachiez qu'il s'y trouve ?

Le regroupement de tous les actifs dans un format et une hiérarchie uniques vous permet d'identifier les actifs du monde réel d'une manière structurée que toutes les parties prenantes peuvent localiser et comprendre.

3. Véritable et fiable

L'établissement d'une base de données fiable est un gage de réussite. L'application de normes de qualité des données peut vous aider à démontrer facilement votre conformité, le cas échéant, et à établir que vos données et vos produits sont dignes de confiance. Plus vos données sont proches de la réalité, plus l'intelligence qui peut en être tirée est précieuse.

Il est également important que vous ne vous contentiez pas d'accepter le strict minimum pour que les données relatives aux actifs soient incorporées dans votre plateforme de gestion des données. Des processus solides, tels que des règles automatisées, vous permettent de vous assurer que les données qui vous sont soumises sont d'un niveau suffisant.

3 étapes pour optimiser votre chaîne d'approvisionnement en données

Alors comment faire pour créer cette chaîne d'approvisionnement en données idéale ? Voici trois des clés du succès que nous avons testées et approuvées :

1 - Certification des données à tous les stades du cycle de vie des données

Le contrôle de la qualité et de la conformité des données ne doit pas être laissé à une seule étape de votre chaîne d'approvisionnement en données - il doit être intégré tout au long de celle-ci.

• Collecte des données

La validation au point de collecte ("bonne dès la première fois") est bien sûr utile pour minimiser les efforts inutiles et garantir que vous capturez tout ce dont vous avez besoin. En utilisant des outils mobiles de collecte sur le terrain tels que 1Edit ou 1Capture, vous pouvez également simplifier le processus de capture des données et appliquer l'attribution automatique.

• Soumission des données

Il existe d'autres moyens d'assurer la qualité au moment de la soumission des données. 1Data Gateway est un portail web simple, construit sur un puissant moteur de règles, où les soumissionnaires de données peuvent vérifier que leurs données sont conformes aux règles métier configurables déterminées par les contrôleurs de données. Les non-conformités peuvent être signalées instantanément pour être corrigées. L'outil peut également effectuer des corrections automatiques sur la base de paramètres prédéterminés. Combiné avec des mises à jour "change only", 1Data Gateway élimine la nécessité de corriger manuellement les données en permanence.  Accessible via un navigateur web, il est intuitif et facile à utiliser pour l'ensemble de la chaîne d'approvisionnement.

• Organisation et intégration des données

En aval de la chaîne, au niveau de l'organisation et de l'intégration des données, les organisations doivent appliquer des règles de gestion pour garantir la qualité, la cohérence et la validité des données.

Les données doivent être centralisées à partir de nombreux formats et emplacements différents et transformées pour se conformer à un schéma central. Une fois centralisées, des règles et des actions automatisées peuvent être exécutées sur l'ensemble de la collection d'actifs à l'aide d'un moteur de règles automatisé tel que 1Integrate de 1Spatial. Ces règles peuvent également être centralisées avec 1Integrate.

Dans certains cas, il peut même être utile de désigner des ensembles particuliers de règles de qualité pour une production de données spécifique.

2 - Tirer parti de l'analytique

La Business Intelligence (BI) et les outils d'analyse tels que les tableaux de bord sont très utiles pour identifier les faiblesses et les possibilités d'amélioration de votre chaîne d'approvisionnement en données.

Les métadonnées peuvent être utilisées pour identifier les méthodes de capture des données ou les fournisseurs qui ne sont pas aussi performants que les autres, ou pour mettre en évidence les règles de gestion qui échouent le plus souvent. Ce n'est qu'une fois que vous avez identifié ces problèmes ou ces opportunités que vous pouvez prendre des mesures pour les résoudre.

Des modèles peuvent également être identifiés dans les données elles-mêmes, ce qui peut conduire à de nouvelles règles de gestion que vous souhaitez appliquer à tous les ensembles de données.

3 - Automatiser la validation, la transformation et la correction

L'automatisation peut être introduite dans plus d'endroits que vous ne le pensez. Nous avons même réussi à codifier le "livre rouge" des règles de gestion du trafic, produisant automatiquement en quelques minutes des plans de circulation qui auraient pris des heures, voire des jours, à déterminer manuellement.

La réduction du temps de traitement est essentielle pour que vos données restent à jour et précises. La conformité de vos données à une norme, un modèle ou un schéma garantit la cohérence et l'interopérabilité des données tout au long de la chaîne d'approvisionnement.

Libérer les personnes du travail manuel ne doit pas être considéré comme un simple exercice d'économie de temps et d'argent. C'est l'occasion d'entreprendre des tâches plus difficiles ou innovantes qui ne peuvent être automatisées, de tirer le meilleur parti de l'expertise humaine et de chercher à améliorer en permanence vos processus et vos produits de données.