Data Engineer (H/F)

Cette scaleup est spécialisée dans la création de contenu sur les réseaux sociaux et l'accompagnement des créateurs les plus talentueux, et ce partout dans le monde. Sa plateforme optimise et distribue du contenu vidéo sur diverses plateformes et permet aux créateurs d'atteindre de nouveaux fans sans aucun effort. Dans ce contexte de très forte croissance, elle souhaite renforcer ses équipes avec un(e) Data Engineer expérimenté(e) ! 

L’équipe infra est composée actuellement de 5 Cloud Engineers, 5 Data Engineers et 1 Data Architecte sénior. 

Stack technique

• Langage : SQL, Python et Bash
• Hébergement : AWS
• Données : Redshift, Kinesis Stream, Kinesis Firehose, Aurora Mysql, ElasticSearch, ElasticCache-Redis, S3, Glue, Athena, etc.
• Orchestration de jobs : Airflow
• Environnement : On utilise Visual Code, mais c’est libre et sur l’OS que tu préfères ! (Vim anyone ?)
• Automatisation: Terraform & Ansible
• CI/CD : Gitlab

Ce dont tu seras responsable

• Mettre en place des librairies Python facilitant le travail des Data Scientists,
• Créer et optimiser des pipelines data complexes,
• Monitorer la plateforme d’exécution des jobs data,
• Refactorer du code,
• Accompagner les data scientists au quotidien dans une démarche d'amélioration continue (code Python, méthodologie de travail, architecture des jobs, peer programming, code reviews...),
• Améliorer les process et la stack technique data (exemples: mise en place d'un framework de calcul distribué; participation à la migration vers une solution full dockerisée pour l'exécution des jobs data...).

Quelques exemples de projets

-> Mise en place d'un pipeline data Airflow (DAG) en rapport avec une nouvelle fonctionnalité d'un de nos produits
-> Construction d'un système de monitoring des performances de nos algorithmes
-> Développement d'une librairie permettant de mutualiser les requêtes SQL fréquemment exécutées par nos Data Scientists
-> Ajout dans Pilot (leur Python Data Job Framework) d'une feature permettant de charger/serialiser un modèle de Machine Learning depuis/vers un repository S3
-> Mise en place d'un travail de R&D sur la génération et le déploiement automatique de notre image Airflow sur nos environnements dev/preprod/prod, via un CI/CD.

• Navigo : 50 %
• Participation mutuelle santé (Alan) : 60 %
• Tickets restaurant (Swile)
• RTT
• CSE
• Full remote
• Clubs (cuisine, art, discussions, sports)
• Bienêtre (fitness, yoga, méditation)

• Tu es diplômé(e) d'un master en computer science, d'une école d'ingénieur / université (BAC+5)
• Tu justifies d'une expérience de 2 années minimum sur des environnements similaires
• Python et SQL n'ont pas de secrets pour toi
• Rigoureux(se), tu es bon(ne) pédagogue et bon(ne) communicant(e)