data ops

Vos missions seront de :

– mettre en place, standardiser, améliorer les processus d’intégration et de déploiement continu des projets

– automatiser, standardiser, la définition des architectures de traitement et d’exposition de données dans un environnement cloud (GCP)

– sécuriser les accès aux infrastructures cloud

– gérer la solution d’orchestration des traitements de données (Airflow)

– identifier proactivement les processus à automatiser, les offres de service à développer

– standardiser la gestion du cycle de vie des modèles de machine learning, via des approches MLOps

– développer des outils de monitoring et d’alerting des solutions – veiller, proposer, qualifier, tester de nouveaux outils technologiques, dans une approche cloud first

– assister la communauté des (déploiement, configuration des applications, gestion des accès, investigation d’incident…)

– suivre et optimiser les coûts cloud d’exploitation Intégré pleinement à notre communauté agile d’ingénieurs, vous contribuerez de manière itérative aux projets, et conduirez des revues de code. En tant qu’ingénieur Data Ops, vous rapporterez au directeur du pôle de data science.

À l’issue d’au moins 5 années d’expérience professionnelle de DevOps, vous avez développé des compétences sur :

– le développement logiciel

– la création et évolution de process CI/CD et la conteneurisation de services

– l’architecture et le développement de service de traitement de données, d’indexation et leur stockage.

En outre, vous comprenez bien les enjeux, les contraintes et les difficultés des projets de science des données.

– le développement d’applications dans le cloud (GCP de préférence), la définition d’infrastructures as code

– le fonctionnement des réseaux informatiques Vous avez pris part à des projets de développement collaboratifs, et la qualité et la simplicité du code vous tiennent à cœur.

Vous avez une maîtrise courante du français, et d’un anglais technique a minima. Notre stack technique Terraform, Ansible, Python Docker, Gitlab, Kibana, Grafana GCP (Cloud Composer / Airflow, Cloudrun, BigQuery, DataProc / Spark, Cloud Batch, Kubernetes Engine, Vertex AI, Cloud Storage)

À l’issue d’au moins 5 années d’expérience professionnelle de DevOps, vous avez développé des compétences sur :

– le développement logiciel

– la création et évolution de process CI/CD et la conteneurisation de services

– l’architecture et le développement de service de traitement de données, d’indexation et leur stockage.

En outre, vous comprenez bien les enjeux, les contraintes et les difficultés des projets de science des données.

– le développement d’applications dans le cloud (GCP de préférence), la définition d’infrastructures as code

– le fonctionnement des réseaux informatiques Vous avez pris part à des projets de développement collaboratifs, et la qualité et la simplicité du code vous tiennent à cœur.

Vous avez une maîtrise courante du français, et d’un anglais technique a minima. Notre stack technique Terraform, Ansible, Python Docker, Gitlab, Kibana, Grafana GCP (Cloud Composer / Airflow, Cloudrun, BigQuery, DataProc / Spark, Cloud Batch, Kubernetes Engine, Vertex AI, Cloud Storage)

TEKsystems recherche pour l’un de ses clients grands comptes un Data Ops en full remote.

Démarrage ASAP + Anglais requis sur cette mission –

Ci dessous vous pouvez retrouver le contexte du projet ainsi les différentes missions:

Contexte de la mission

Au sein ***** , la Unit Data office cherche un data ingénieur Ops expérimenté d’au moins 10 ans. 

La/Le devOps fera partie intégrante de l’équipe.

Elle/Il travaillera en étroite collaboration avec le Team Lead afin de l’aider à sur les différents projets de l’équipe.  

Objectifs et livrables

Vous serez en charge de : 

⁃ Concevoir, implémentez et fournir des solutions pour les problématiques data. 

 ⁃ L’intégration et la collecte des données issues des applications tierces (CRM, réseaux sociaux, etc.) ; 

⁃ La conception, le développement et déploiement de nouveaux flux Spark pour les différents besoin métiers (finance, support, industrie…) 

⁃ La caractérisation des architectures des produits technologiques ; Choix d’architecture en anticipant les besoins de scalabilité 

⁃ La planification et l’orchestration des flux afin d’optimiser la mise à disposition de données. 

⁃ Détecter les points bloquants ou les chaînons manquants dans le cycle de traitement des données, et à proposer des solutions à soumettre à leurs collaborateurs. 

 – D’assurer la continuité de service et le monitoring des flux développés. 

⁃ Documentation : capitalisation des savoirs, retours d’expérience et fiches de best practices pour aider à la montée en compétencesdes équipes métier. 

– De la veille technologique : proposer de nouvelles solutions techniques pour challenger le fonctionnement actuel et optimiser les temps de traitements tout en réduisant les coûts. 

⁃ Évangéliser les meilleures pratiques dans le traitement de la data.  

Vous travaillerez en relation avec les équipes responsables des infrastructures et des bases de données ainsi qu’avec les équipes de data analystes et de data scientistes, avec l’appui du chef de projet et en relation directe avec les équipes métiers. 

Environnement technique :
 

•Spark , PySpark , Scala 

• HDFS, YARN, Hive, SQL Server, Airflow, Postgresql, kafka 

• Python, Java, Shell 

• API, Web services 

• Git Stash, Ansible, YAML 

• Puppet 

• Ansible 

• CI/CD 

• Docker / Kubernetes 

• Agilité / Scrum 

• la gestion de l’environnement, des tests unitaires, de l’automatisation et des versions ; 

Une expérience solide de 10 ans en développement est obligatoire pour cette mission.

Savoir être 

⁃ Autonome & Résilient 

⁃ Force de proposition 

⁃ Rigoureux & Capable de gérer plusieurs sujets en parallèle 

⁃ Faire preuve d’adaptabilité 

⁃ Pédagogue, vous avez la capacité de vulgariser votre savoir technique pour le mettre au service des autres. 

⁃ Organisé , vous avez le sens des responsabilités. 

⁃ État d’esprit orienté utilisateur.
⁃ Vous avez l’esprit d’équipe, vous participez et êtes acteur des différents rituels agiles. 

Depuis 20 ans Huxley est positionné parmi les acteurs principaux du recrutement dans le monde. Spécialisé dans l’IT, la finance et l’assurance nous sommes implantés mondialement dans 15 pays.
Nous aidons nos clients à optimiser leur recrutement en adoptant une approche personnalisée et une expertise métiers, délivrant ainsi un service sur mesure. Nous nouons quotidiennement des relations avec les talents et les entreprises les plus dynamiques du marché.

-> Accompagnement et l’acculturation des bonnes pratiques de la Data Engineering au travers de l’approche Data Driven
-> Validation de la qualité des développement de l’équipe
-> Acculturation de la philosophie DevSecOps
-> Suivi de la qualité de code
-> Organiser et animer les ateliers d’amélioration continue
-> Définition de la roadmap technique
-> Être garant du cycle de delivery, de la qualité des livrables et l’encadrement & animation des équipes en environnement Agile / DevOps
-> Estimer la charge du Backlog et déterminer le périmètre des sprints en collaboration avec les experts métiers
-> Superviser la qualité des livrables
-> Participation aux entretiens de suivi des Data Engineer
-> S’assurer que le processus de MCO soit correctement adopté
-> Formation des nouveaux arrivants
-> Support pour résoudre des problèmes complexes

Compétences techniques :

Python, SQL, NoSQL, Shell – Expert – Impératif
Agilité, Git – Expert – Impératif
Modélisation de données – Expert – Impératif
GCP (Big Query, GCS, …), Pipeline (Dataflow…) – Expert – Impératif