Data Engineer GCP (H/F)

Nous recherchons un(e) Data Engineer confirmé(e) pour intégrer une équipe agile dédiée à la mise en place et à l’industrialisation de pipelines de données sur la plateforme GCP. Vous interviendrez sur des projets stratégiques autour de la valorisation des données métiers (finance, risque, conformité, etc.).

Conception, développement et optimisation de pipelines de données scalables sur Google Cloud Platform (GCP)

Intégration et transformation des données issues de diverses sources (BigQuery, Pub/Sub, Cloud Storage, etc.)

Utilisation de Apache Spark pour le traitement de gros volumes de données

Orchestration des workflows avec Apache Airflow (Cloud Composer)

Collaboration avec les Data Analysts, Data Scientists et les équipes métiers pour répondre aux besoins data

Mise en place de bonnes pratiques de développement (CI/CD, tests, monitoring, documentation)

Participation à l’évolution de la plateforme data et contribution à l’amélioration continue des process

Langage : Python (maîtrise indispensable)

Traitement de données : Apache Spark (PySpark)

Orchestration : Airflow (Cloud Composer)

Cloud : GCP (BigQuery, Cloud Storage, Dataflow, Pub/Sub…)

Outils : Git, Docker, Terraform (atout), CI/CD (GitLab CI, Jenkins…)

Méthodologie : Agile/Scrum, DevOps

Bac+5 en informatique ou formation équivalente

Minimum 3-5 ans d’expérience en tant que Data Engineer, dont une expérience significative sur GCP

Bonne connaissance des environnements cloud et des architectures distribuées

Maîtrise de CLOUD COMPOSER

Esprit d’équipe, autonomie, rigueur et curiosité technique

Capacité à dialoguer avec les équipes métiers et à comprendre les enjeux data

Description :

• Mettre en place la collecte et la mise à disposition des données au sein de l’entreprise

• Industrialiser et mettre en production des traitements sur les données (par exemple : mise à disposition de tableaux de bords, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent

Activités et tâches :

• Acheminement de la donnée

• Mise à disposition de la donnée aux équipes utilisatrices

• Mise en production de modèles statistiques

• Suivi de projet de développement

• Développement job spark

• Traitement et ingestion de plusieurs formats des données

• Développement des scripts

• Développement et Implémentation des collectes de données, des jobs de traitement et Mapping de données

• Développement des moyens de restitution via génération de fichier et ou API & Dashboarding

• Collecter toutes les données et les fournir aux clients en tant qu’API ou fichiers

• Développer de pipelines d’ingestion à partir de différentes sources (streaming et batch) ainsi que des spark jobs le prétraitement des données et calcul des indicateurs de performance (KPI)

• Développer des API génériques d’ingestion et de traitement de données dans un environnement HDP

• Participer à la conception, mise en place et administration de solutions Big Data

• Participation à l’installation, administration et configuration des Hadoop clusters. Mise en place en Spring Boot des services d’extraction de data du système legacy (tera data), la data sera par la suite envoyée au data lake via des topics Kafka

• Normalisation et agrégation des données afin de produire les rapports sous forme de Business View

Aspects Humains :

• Grande capacité à travailler dans une équipe, en mode Scrum / Kanban.

• Bonnes compétences relationnelles et grand sens de la communication (capacité à entrer dans le détail).

• Sensible et informé des évolutions technologiques sur les piles logicielles pratiquées.

Récupérer les données issues de sources externes

• Utiliser la puissance du Datalake

• Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels.

Mise en œuvre de la chaîne :

o d’ingestion de données,

o de validation de données,

o de croisement de données,

o de déversement dans le datalake des données enrichies

• Développer dans le respect des règles d’architecture définies

• Développer et documenter les user stories avec l’assistance du Product Owner.

• Produire les scripts de déploiement

• Prioriser les corrections des anomalies

• Assister les équipes d’exploitation

• Participer à la mise en œuvre de la chaîne de delivery continue

• Automatiser les tests fonctionnels

Expertises spécifiques :

Connaissances techniques :

• Plateforme et environnement GCP (indispensable)

• Environnement GKE

• Stockage : HDFS / GCS

• Traitement: Maitrise de l’écosystème Spark / Kafka / Scala

• Planification : Airflow / Composer

• Méthodologies : Scrum, Kanban, Git

• DWH : SQL, BigQuery, BigTable

• Delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud Build

Intégrer l’équipe Move To Cloud pour réaliser la migration dans le cloud GCP. KARMA est le système de Revenue Management du groupe

100% migration cloud GCP

Intégration d’une équipe de 6 personnes

Présence sur site (Sophia Antipolis) obligatoire 1x par semaine.

Présence sur site (Sophia Antipolis) obligatoire 3x par semaine pendant les 3 premiers mois (on boarding)

Communication, leadership, autonomie, coaching

Profils séniors uniquement

Anglais niveau B2 Obligatoire

Data engineering / Big Data Development Hadoop et Spark pour migration dans le cloud GCP

Anglais B2

Dev JAVA 8/11

HADOOP (notamment module map reduce)/SPARK

NB : MapReduce est un paradigme de programmation qui permet une évolutivité massive sur des centaines ou des milliers de serveurs dans un cluster Hadoop 

GCP DATA module (GSC/data proc cluster/serverless/bigquery)

Une bonne connaissance de l’environnement GCP et la réalisation d’une migration Hadoop / Spark dans GCP

Data engineering / Big Data Development Hadoop et Spark pour migration dans le cloud GCP

Karma Partners, 1ère ESN collaborative française, c’est avant tout un état d’esprit ou comment vivre l’ESN autrement. C’est la volonté de replacer le Capital humain au centre de nos préoccupations, une manière de travailler et de collaborer dans le respect de valeurs fortes et conviviales.