Modern Data Platform et autonomie métier : la double ambition de Pickup
Process, outils et people : Pickup a initié une transformation Data en profondeur. Le gestionnaire de relais colis migre d’une plateforme on-premise obsolète vers une Modern Data Platform 100% cloud.
Data et intelligence artificielle constituent des piliers du plan stratégique du groupe La Poste. Au sein de ses filiales, l’heure est aussi aux transformations. Illustration avec Pickup, une filiale de Geopost, la branche transport et logistique de La Poste.
Pickup, c’est déjà plus de 20 ans d'existence. Avec l’explosion du e-commerce, son activité n’a fait que se développer. Le logisticien, qui opère le premier réseau hors-domicile de France avec 19.400 points relais colis, compte ainsi plus de 90.000 sites e-commerce partenaires.
Transactionnel et décisionnel : mise à jour impérative
Le boom de la vente en ligne est aussi synonyme de pression sur les logiciels transactionnels et décisionnels (BI) de Pickup. “Nos outils ont été un peu à la peine ces dernières années pour suivre la croissance à deux chiffres en termes de volume”, témoigne Goulwen Desvaux, le Head of Data.
Sur la Business Intelligence, “un peu la dernière roue du carrosse”, le constat est identique. Les applications sont anciennes, voire obsolètes. Décommissionné en janvier 2024, Qlik View fêtait ses 10 ans de service dans l’entreprise.
Conf - La Data Plateforme au carrefour des usages Data & IA
🎯 Inscription : https://bit.ly/4egjOZr
Difficile dès lors pour les équipes techniques et Data de traiter les demandes émanant du métier. “Nous avions du mal à suivre le business et surtout à assurer la continuité de service”, reconnaît son Head of Data. La technologie n’est pas seule en cause.
C’est la raison pour laquelle le logisticien prend la décision en 2023 de transformer aussi bien en termes de processus, d’outils et d’humains. Sur le volet outillage, est donc engagé le déploiement d’une Modern Data Platform, soit une plateforme à l’état de l’art, et 100% cloud.
Pickup rompt donc avec sa stack on-premise. Son décommissionnement définitif, celui du datawarehouse, est prévu pour septembre 2024. Ensuite, l’équipe Data accompagnera le métier dans son appropriation de la nouvelle plateforme - et l’abandon du shadow Data.
Une plateforme 100% cloud et pensée pour le métier
Pour composer sa Modern Data Platform, Pickup a réuni différentes applications du marché. Avec Snowflake pour le stockage et le scaling (“up and down”) en termes de puissance de compute, l’entreprise s’assure face à la forte saisonnalité de son activité.
Le Repository (du code) est hébergé sur Azure et dbt Cloud tient le rôle d’usine de développement. Elle permet aux utilisateurs de “transformer, modéliser les données, mais aussi de tester, documenter et scheduler grâce à la partie cloud de dbt”. Et ces usages ne sont plus limités aux seuls profils tech.
La plateforme se veut ouverte aux métiers pour leur permettre d’être autonomes - et d’alléger aussi en parallèle la pression sur la Tech dont le time-to-delivery ne cessait de s’allonger, créant par ricochet bugs et insatisfaction.
Pour encourager le self-service, Pickup a également fait le choix de Power BI premium (Cloud) sur la partie datavisualisation/exposition des données. La solution doit elle aussi contribuer à réduire le shadow IT et le shadow Data (via des fichiers Excel et PowerPoint, notamment).
Par le biais de sa nouvelle Data Platform sur le cloud, l’entreprise se fixe pour ambitions “de pouvoir assurer la continuité de service, scaler et assurer les nouveaux cas d’usage.” Y parvenir nécessite cependant aussi de revoir les méthodes de travail et les rôles.
DataOps pour la Tech, autonomie et transparence pour les utilisateurs
Goulwen Desvaux associe ainsi cinq fondations à la nouvelle plateforme. La première, c’est Le DataOps. “Nous partions d’assez loin, de très loin même”, confesse le Head of Data. “Avant, pour sortir une release sur la data ou la BI, on mettait 3 mois.” Et c’est sans compter les bugs à l’arrivée.
“Nous avons renversé la table”, qualifie-t-il. Cela passe par la responsabilisation des développeurs et des autres parties prenantes et par “une totale autonomie. Il n'y a pas d’équipe DBA, de test, d'homologation… il n’y pas d’équipes qui interviennent sur le chemin de livraison de la data.”
Le DataOps, c’est de la méthode et de l’outillage avec des ETL, des tests automatisés & monitorés, la recherche de l’incrément produit le plus petit possible, et de la release continue. “Nous avons maximisé l’industrialisation des tests”, souligne entre autres l’expert de Pickup.
Le second pilier, “le plus important” aux yeux de Goulwen Desvaux, c’est la transparence. Tous les utilisateurs, dont les métiers, ont accès à l’information en self-service (lineage, code source, transformations…) depuis dbt.
“C’est un vrai gain de productivité puisqu’on n’est plus hacké par le business pour avoir des inputs, notamment sur la fraîcheur de la donnée”, apprécie l’expert. Le métier est encouragé à l’autonomie et dispose des moyens nécessaires, dont la documentation. Cela vaut aussi pour le lineage de la donnée, automatisé et précis.
“La plateforme est portée avant tout pour le business, l’objectif étant qu’il soit autonome sur toute la stack, qu’il puisse créer du pipeline ou des transfos sur Snowflake , ou bien du modèle sur dbt, du dataset, du reporting et de l’extract, de la datascience, et cela directement sur la plateforme”, insiste le Head of Data.
Data gouvernance : un “sacré challenge” à venir
Si la plateforme remplit des fonctions multiples, redresser la donnée n’en fait pas partie en revanche. Néanmoins, le nouvel environnement traite la problématique de la Data Quality via l’intégration de nombreux tests (scriptés via dbt). Charge cependant au business d’intervenir à la source d’un défaut de qualité.
Quatrième fondement établi : Pas de Data, pas de développement. “Nous ne commençons à travailler qu’à partir du moment où nous disposons de la donnée dans Snowflake.” Voilà pour le top départ. Quant au finish, le “Done”, il intervient une fois “l’incrément commit sur l’environnement de production et visible à travers la documentation dbt. S’il n’y a pas de documentation, il n’y a pas d’incrément done.”
La trajectoire est à présent clairement tracée chez Pickup. Reste désormais à en venir à bout et à résoudre les questions qui émergent des nouvelles pratiques mises en œuvre. La plateforme Legacy doit être totalement décommissionnée. Une telle étape n’est jamais rectiligne.
Mais il faut dans le même temps favoriser l’adoption de la nouvelle plateforme, qui s’accompagne de responsabilités et tâches pour le métier. La plateforme est disponible depuis quelques mois et l’entreprise se donne jusqu’à fin 2024 pour onboarder le business et le faire sortir du shadow.
Goulwen Desvaux anticipe également un “sacré challenge” à venir dans le domaine de la gouvernance des données. “Un chantier sera très certainement lancé dans les prochains mois”, confiait-il début juin. Les métiers auront assurément un rôle à jouer dans cette gouvernance.
L’IA générative pourrait aider. Avec ces modèles, l’entreprise souhaite toutefois dans un premier temps faciliter l’accès à la donnée par les métiers. Il s’agit ainsi, à l’image de ce que propose Bouygues Telecom, de permettre de requêter des bases de données en langage naturel et non pas en SQL. Une manière supplémentaire de renforcer l’autonomie des utilisateurs.
Les analyses et actualités Data & IA
Sur la GenAI, le difficile équilibre entre vitesse et rigueur - Filiale d’Axa, l’assureur Direct Assurance se projette sur trois typologies principales de cas d’usage en intelligence artificielle générative. Sur les applications business de la GenAI, l’entreprise a choisi son combat en se focalisant sur le métier de call center.
Les grands projets IA de Manpower - Le groupe Manpower a recours à l’intelligence artificielle depuis plusieurs années. Mais depuis deux ans l’IA générative lui permet de concrétiser des cas d’usage auparavant inaccessibles.
Data et IA dans le cloud : Neo4j étoffe sa plateforme managée Aura - L’éditeur de SGBD Neo4j poursuit l’enrichissement de ses solutions managées de base de données orientée graphes, avec pour ambition d’en faire un composant clé des applications d’IA générative et des usages avancés de l’analytique.
L’IA, un marché à 1270 milliards de dollars d’ici 2028 ? - Dans une étude prospective, Sopra Steria Next évalue le marché de l’intelligence artificielle à 540 milliards de dollars en 2023. D’ici 2028, il pourrait peser 1.270 milliards. Mais tous les segments de l’IA, 4 au total, n’ont pas le même poids.
Outscale combine IA et souveraineté avec Mistral AI - Le fournisseur cloud qualifié SecNumCloud lance son offre de modèles LLM as-a-service en partenariat avec Mistral AI et Dassault Systèmes. Une offre sous le signe de la souveraineté. Sa promesse : des applications de GenAI hébergées dans un environnement souverain et sécurisé.
Élus municipaux et IA générative : les premières formations - Le Wagon a conçu un programme de formation pratique à l’intelligence artificielle à destination des élus locaux. La ville de Thiais est la première à l’expérimenter. Outre l’usage de la GenAI, les décideurs locaux sont sensibilisés à l’éthique de l’IA.
Les Data Translators de Carrefour rouages essentiels du passage à l’échelle - Carrefour s’est engagé sur la voie du passage à l’échelle grâce à une organisation 4-in-the-box et un réseau de 100 Data Translators positionnés en proximité du métier.
Pourquoi et comment me contacter ?
Vous êtes CDO, experts de la Data et de l’IA dans une organisation utilisatrice et vous souhaitez partager un retour d’expérience ou mettre en lumière une thématique ? Alors contactez-moi sur LinkedIn.
Vous êtes fournisseur, société de conseil ou éditeur et vous souhaitez proposer du contenu qualitatif à une audience ciblée en figurant dans la newsletter Secrets de Data ? Discutons-en ! [Offre payante]