Data Engineer Python

Cette entreprise est une filiale d’un leader mondial des transports publics, opérant dans 13 pays et gérant plus de 100 filiales. Elle se distingue par son expertise en exploitation et maintenance de réseaux de transport urbains et interurbains. Son ambition actuelle est de construire une plateforme de données flexible et centralisée, permettant aux filiales de partager un socle de données harmonisé. L’objectif est de faciliter l’analyse des données pour les utilisateurs finaux comme les Data Analysts et Data Scientists, en améliorant la performance et la fiabilité des services proposés aux clients et voyageurs.

Le candidat idéal est issu d’une formation Bac+4/+5 en ingénierie ou analyse de données, avec une maîtrise solide de Python et SQL, ainsi qu’une connaissance des environnements de gestion de données comme Airflow et Talend. Une expérience dans AWS est un atout. Au-delà des compétences techniques, le poste requiert une rigueur et une autonomie marquées, un esprit d’analyse, une capacité de collaboration au sein de l’équipe, et un goût pour la proposition d’idées innovantes.

Le poste de Data Engineer Python se situe au sein de la DSI d’une grande entreprise, dans une équipe DataPlatform comprenant 3 Data Engineers, un administrateur de base de données, un responsable BI, un Product Owner, ainsi que des DevOps responsables des infrastructures de gestion des données. L’environnement est basé sur des technologies modernes et variées, notamment Python, Airflow, Snowflake, Nifi, Kafka, et AWS Lambda, pour gérer et transformer les données. Les processus de développement sont centralisés sur Gitlab avec des chaînes CI/CD, assurant une intégration continue des projets.

Contexte :

La Direction Technique du Numérique mène des projets transverses en étroite collaboration avec les autres directions, notamment la direction Data. La Direction Data, au sein de la Direction du Numérique, a été créée avec la volonté de faire de la Data un levier de croissance des offres numériques.

La Direction Data a 3 grandes missions : maximiser la collecte de données tout en respectant les réglementations en vigueur, développer la connaissance et l’expérience utilisateurs et mettre à disposition auprès des équipes internes des outils de pilotage et d’aide à la décision. 

 Avec pour objectif d’accélérer dans le déploiement de la Gouvernance des données au sein de notre plateforme Data, nous souhaitons constituer une nouvelle équipe en charge de déployer les différents datasets organisés par domaine de données. Cette équipe est composée d’un product owner, d’un data steward et d’un data ingénieur.

Notre stack technique est principalement constituée de Python, Spark, SQL, dbt, BigQuery et Airflow pour l’orchestration des traitements. La stack inclut aussi d’autres services de la Google Cloud Platform.

 1- Déployer les datasets normés sur un ou plusieurs des data domain suivants : Utilisateurs, Comportements et Référentiels

 2- Accompagner les utilisateurs dans leurs usages

 3- Mettre en place le contrôle qualité sur ces datasets

 MISSIONS :

En interaction avec les membres de l’équipe, mission consistera à

– Construire et maintenir de pipelines data robustes et scalables

– Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données

– Organiser et structurer le stockage des données

            -Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données

            – Participer aux initiatives de gouvernance des données en assurant la qualité, la fiabilité et l’intégrité des données

            -Construire et maintenir les workflows de la CI/CD centrés données

            – Collaborer avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur 

            – Participer à la guilde des data ingénieurs

            – Assurer l’évolutivité, la sécurité, la stabilité des environnements

            – Contribuer et veiller à la mise à jour de la documentation

            – Faire de la veille technologique active dans le domaine

            – Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe

Expertises requises :

– Au moins 3 ans d’expérience en tant que Data Ingénieur dans un environnement data

– Compétences solides en data : structures de données, code, architecture

            – Expériences dans un environnement du Cloud Provider Public Google (GCP)

            – Une bonne maîtrise des langages Python et SQL est indispensable

            – Expériences en Spark

            – La connaissance de dbt est un plus

            – Expertises dans la mise en place de pipeline ETL / ELT 

            – Bonnes connaissances de Gitlab et Gitlab CI/CD

            – Capacité à vulgariser et à communiquer sur des aspects purement techniques

            – Pratique des méthodes Agile : Scrum ou Kanban