Mattis VALMORIN

Description de l’activité :
Le projet DataFrance centralise et structure les données bâtimentaires françaises issues de BDNB, ONB, IGN, SIRENE, ainsi que de sources confidentielles comme Enedis, GRDF ou DLE.L’outil collecte, agrège et crée un Data Warehouse, permettant d’estimer la consommation énergétique et de comprendre les usages des bâtiments (tertiaire, résidentiel, collectif, individuel).Ces analyses permettent aux commerciaux ENGIE d’identifier les compteurs et les usages pour proposer les contrats adaptés, optimiser l’efficacité énergétique et cibler les offres.Le projet utilise Python / GeoPandas / Docker / GitHub, avec un SIG (NEMO Market) pour cartographier les territoires, en combinant open data, satellites et données internes, tout en garantissant robustesse et autonomie pour les utilisateurs.

Les missions principales :
● 1. Conteneurisation & DevOps
● · Dockerisation du pipeline ETL DataFrance : création d’une image Docker dédiée (Dockerfile) permettant le déploiement reproductible et industrialisé du projet.
● · Harmonisation du versioning : alignement du tag des releases GitHub avec le paramètre de version du projet afin d’assurer cohérence, traçabilité et suivi des évolutions.
● 2. Extraction des données (Extract)
● Gestion des datasets : stockage, suivi et organisation des données au format .parquet dans Microsoft Azure Blob Storage (zone INPUT) pour garantir la traçabilité.
● Paramétrage du pipeline DataFrance : redéfinition des paramètres de lancement (départements, types de fichiers, ordre de traitement) pour les 99 départements, avec mise à jour des fichiers de configuration.
● Optimisation des performances géospatiales : accélération de la lecture et du traitement des GeoDataFrames grâce au module Pyogrio, améliorant significativement les performances par rapport aux méthodes classiques.
● Consommation d’API REST :
● Appels GET/POST vers des API d’open data (RPLS, SIRENE, etc.).
● Transformation des réponses JSON en DataFrames Pandas.
● Intégration et exploitation des données dans le pipeline DataFrance.
● Intégration de nouvelles sources : ajout de la source ENEDIS/GRDF, mise à jour du code Python (download.py) et automatisation de l’envoi des fichiers vers les blobs Azure.
● Amélioration des sorties :
● Correction et amélioration de la lisibilité des fichiers de logs techniques (.txt).
● Génération de fichiers statistiques (.pdf) résumant chaque lancement du projet pour un territoire donné.
● 3. Transformation des données (Transform)
● Fiabilisation des règles métiers : correction des règles de transformation et révision des logigrammes du code pour certains champs de données.
● Gestion des anomalies : correction des bugs signalés par les utilisateurs afin de garantir la cohérence et la fiabilité des données transformées.
● Croisement de données : analyse des écarts de consommation via le croisement des données clients avec les données DataFrance.
● Qualité et maintenabilité du code :
● Amélioration de la lisibilité et de la structuration du code.
● Ajout de commentaires explicites.
● Suppression des fichiers inutiles.
● 4. Chargement & Analyse (Load & Analyse)
● Chargement des données : envoi des fichiers transformés et nettoyés vers les blobs Azure dans la zone OUTPUT.
● Collaboration produit : travail en étroite collaboration avec le Product Owner lors de réunions fonctionnelles (choix des champs, logique algorithmique, géocodage des adresses via API).
● Analyse avancée du géocodage :
● Rédaction d’un rapport d’analyse pour le projet Némo (statistiques de qualité du géocodage).
● Étude des possibilités de remplacement de l’API par des approches Machine Learning.
● Data analysis & visualisation :
● Nettoyage et transformation des données avec Pandas, GeoPandas et NumPy (valeurs manquantes, doublons, agrégations, jointures, géocodage).
● Analyses statistiques et visualisations avec Seaborn et Matplotlib (distributions, corrélations, comptages, indicateurs de synthèse).
● Visualisation et analyse géospatiale des données sous QGIS.
● Documentation & traçabilité : documentation des étapes de traitement, suivi des anomalies détectées et capitalisation des résultats.
● Reporting & Business Intelligence (Power BI)
● · Conception de reportings Power BI: création de rapports dynamiques orientés métier.
● · Mesures DAX: développement de mesures complexes pour le calcul d’indicateurs et KPI.
● · Tableaux de bord interactifs: mise en place de KPI, slicerset filtrespour faciliter l’analyse utilisateur.
● · Visualisations temporelles: graphiques de séries mensuelles, comparaisons année N vs N-1, suivi des évolutions et tendances.
● 6. Gestion de versions & Collaboration (Git / GitHub)
● Gestion des releases: création de TAGet Releases GitHub, puis déploiement sur le HUB.
● Workflow Git:
● Création de branches en local.
● Push vers le dépôt distant.
● Ouverture de Pull Requestset merge vers la branche masteraprès validation du Tech Lead.
● Sécurité et maintenance: gestion des Dependabot alertset mise à jour des bibliothèques pour garantir la sécurité des données.
● Documentation & suivi agile:
● Mise à jour systématique de la documentation du projet à chaque nouvelle version.
● Rédaction et complétion des User Stories JIRA associées aux évolutions.
● Communication releases: information des utilisateurs (mail / Teams) lors de chaque nouvelle release de DataFrance.
● ·
● 7. Montées de version & veille fonctionnelle
● Montée de version BDNB / DataFrance: analyse et accompagnement des évolutions techniques et fonctionnelles.
● Analyse fonctionnelle: documentation des impacts des nouvelles versions sur les traitements existants.
● Veille data:
● Suivi des nouvelles versions de fichiers.
● Identification des nouvelles couches bâtiments.
● Détection des nouvelles colonnes ou changements structurels impactant les pipelines ETL.
●