Senior Data Engineer - Data Platform Engineer H/F
Role details
Job location
Tech stack
Job description
Vous interviendrez sur des projets stratégiques autour des architectures Data Cloud, des plateformes Big Data, des traitements temps réel et de la valorisation des données, dans des environnements techniques exigeants et à forte volumétrie.
En collaboration avec les Architectes Data, Data Scientists, Business Analysts, DevOps et équipes métiers, vous participerez à la conception de solutions robustes, évolutives et sécurisées répondant aux enjeux de performance et de gouvernance des données.
En tant que Senior Data Engineer, vous serez amené(e) à :
- Concevoir et développer des architectures Data évolutives et performantes.
- Développer, maintenir et optimiser des pipelines de données (ETL / ELT) en mode batch et streaming.
- Concevoir et exploiter des plateformes Data Lake, Data Warehouse et Lakehouse.
- Mettre en oeuvre des solutions d'ingestion de données issues de multiples sources (API, bases de données, fichiers, IoT, événements temps réel).
- Développer des traitements distribués pour de forts volumes de données.
- Industrialiser les traitements Data grâce aux pratiques DevOps et DataOps.
- Concevoir les chaînes CI/CD des plateformes Data.
- Garantir la qualité, la traçabilité, la sécurité et la gouvernance des données.
- Optimiser les performances des traitements et les coûts d'exploitation des infrastructures Cloud (FinOps).
- Participer à la définition des architectures techniques et aux choix technologiques.
- Assurer le monitoring, l'observabilité et le support des plateformes Data.
- Produire la documentation technique et accompagner les équipes dans le partage des bonnes pratiques.
- Participer aux revues de code et contribuer à l'amélioration continue des plateformes.
Selon les projets, vous pourrez également intervenir sur :
- la définition de référentiels techniques,
- l'accompagnement des équipes de développement,
- le mentorat de Data Engineers,
- ou l'évolution vers un rôle de Tech Lead ou de Data Architect., Vous êtes à l'aise aussi bien dans les phases de conception que dans le développement et l'industrialisation des solutions.
Vous appréciez les environnements Cloud, les architectures distribuées et les problématiques de performance liées aux traitements de données à grande échelle., Data Engineering
- Développement de pipelines ETL / ELT
- Data Lake
- Data Warehouse
- Lakehouse
- Modélisation des données
- Data Quality
- Data Governance
- Data Catalog
- Architecture Medallion (Bronze / Silver / Gold)
Big Data
- Apache Spark
- PySpark
- Databricks
- Delta Lake
Streaming
- Apache Kafka
- Azure Event Hub
- Google Pub/Sub
- Traitements temps réel
Cloud
Une expérience sur au moins une des plateformes suivantes est attendue :
- Microsoft Azure
- Amazon Web Services (AWS)
- Google Cloud Platform (GCP)
Services fréquemment rencontrés :
- Azure Data Factory
- Azure Synapse Analytics
- AWS Glue
- Amazon S3
- BigQuery
- Google Cloud Storage
- Dataproc
Outils ETL
- Talend
- Azure Data Factory
- SSIS
- dbt (apprécié)
Bases de données
- SQL Server
- PostgreSQL
- Oracle
- Snowflake
- BigQuery
DevOps / DataOps
- Git
- Azure DevOps
- GitLab CI
- GitHub Actions
- Jenkins
- Docker
- Kubernetes
- Infrastructure as Code
- Terraform (apprécié)
Monitoring & Observabilité
- Grafana
- Prometheus
- Alerting
- Logging
- Supervision des pipelines
FinOps
- Optimisation des coûts Cloud
- Suivi de la consommation des plateformes Data
- Optimisation des traitements distribués
Requirements
Diplômé(e) d'une école d'ingénieur ou d'un Master (Bac +5) en informatique ou Data Engineering, vous justifiez d'une expérience significative dans la conception et le développement de plateformes Data modernes.Vous êtes à l'aise aussi bien dans les phases de conception que dans le développement et l'industrialisation des solutions.Vous appréciez les environnements Cloud, les architectures distribuées et les problématiques de performance liées aux traitements de données à grande échelle.Compétences techniquesLangagesPython (indispensable)SQL avancé (indispensable)PySparkScala ou Java (apprécié)Data EngineeringDéveloppement de pipelines ETL / ELTData LakeData WarehouseLakehouseModélisation des donnéesData QualityData GovernanceData CatalogArchitecture Medallion (Bronze / Silver / Gold)Big DataApache SparkPySparkDatabricksDelta LakeStreamingApache KafkaAzure Event HubGoogle Pub/SubTraitements temps réelCloudUne expérience sur au moins une des plateformes suivantes est attendue :Microsoft AzureAmazon Web Services (AWS)Google Cloud Platform (GCP)Services fréquemment rencontrés :Azure Data FactoryAzure Synapse AnalyticsAWS GlueAmazon S3BigQueryGoogle Cloud StorageDataprocOutils ETLTalendAzure Data FactorySSISdbt (apprécié)Bases de donnéesSQL ServerPostgreSQLOracleSnowflakeBigQueryDevOps / DataOpsGitAzure DevOpsGitLab CIGitHub ActionsJenkinsDockerKubernetesInfrastructure as CodeTerraform (apprécié)Monitoring & ObservabilitéGrafanaPrometheusAlertingLoggingSupervision des pipelinesFinOpsOptimisation des coûts CloudSuivi de la consommation des plateformes DataOptimisation des traitements distribués, Diplômé(e) d'une école d'ingénieur ou d'un Master (Bac +5) en informatique ou Data Engineering, vous justifiez d'une expérience significative dans la conception et le développement de plateformes Data modernes., Langages
- Python (indispensable)
- SQL avancé (indispensable)
- PySpark
- Scala ou Java (apprécié), Apache spark Prometheus ETL Scala API SGBD SSIS SQL Optimisation des coûts AWS Modélisation des données Gestion des données Oracle Grafana Git Création d'une base documentaire Jenkins Kubernetes Big data Python Gouvernance des données KAFKA Terraform Amélioration continue PostgreSQL Java Monitoring Docker
Benefits & conditions
Chaque année vous bénéficierez d'une formation pour vous aider à développer ou renforcer vos compétences.Prime de cooptation très avantageuse et non plafonnée.Etat d'esprit: une ambiance jeune, dynamique et des moments de convivialité (apéro, team-building et plus encore).