Data Engineer Pyspark H/F

Nexton
Paris, France
1 day ago
Apply on www.hellowork.com
Prepare application

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Experience level
Expert
Experience required
5 years minimum
Working hours
Regular working hours

Tech stack

Application Programming Interfaces (APIs) Agile Methodology Airflow Amazon Web Services Amazon S3 Unit Testing Big Data Cloud Computing Continuous Integration Memory Management Amazon DynamoDB Identity and Access Management
+13 more
Performance Tuning Scala (Programming Language) Software Engineering SQL Databases Macros Snowflake Apache Spark Git Pyspark Gitlab-ci AWS Fargate Data Management Terraform

Job description

Au sein d’un de nos clients grands comptes, dans l’univers des médias, tu interviens dans le programme Data chargé d’aider à la prise décisionnelle., En tant que Data Engineer, tes principales missions sont :

  • Tu Conçois, développeet maintientdes pipelines de traitement de données massives en PySpark.
  • Tu construis et optimisesdes modèles de données et des techniques avancées de traitement de données.
  • Tu mets en place des architectures Big Data sur AWS (S3, EMR, Lambda, Snowflake…).
  • Tu développes en SQL, Snowflake, Scala, Gitlab CI/CD et exploiter Apache Spark pour le traitement massif des données.
  • Tu automatisesles workflows avec Apache Airflow et DBT pour orchestrer les pipelines.
  • Tu conçois et exposes des APIs performantes pour servir les données (Scala, Spark, Terraform, Gitlab CI CD, ECS Fargate, Kinesis, DynamoDB, S3, etc.).
  • Tu optimisesles performances et garantisla scalabilité du système pour gérer un grand volume d’utilisateurs.

Requirements

Tu possèdes au minimum 5ans d’expérience dans le développement de projets Data.Tes qualités et compétences techniques sont les suivantes :Maîtrise approfondie de PySpark (développement distribué, optimisation des jobs Spark, gestion de la mémoire et du partitionnement).Solide expertise en SQL (requêtage complexe, optimisation de performances, modélisation de data warehouses).Expérience confirmée sur dbt (développement de modèles, macros, tests de données, documentation).Connaissance avancée de l’écosystème Cloud AWS (S3, Glue, EMR, Redshift, IAM, Lambda, etc.).Maîtrise de Terraform pour le provisionnement et la gestion automatisée des ressources Cloud.Bonnes pratiques de développement logiciel (Git, CI/CD, tests unitaires et d’intégration).Tes qualités et compétences transverses sont les suivantes :Esprit d’analyse et de résolution de problèmes : Capacité à diagnostiquer rapidement les goulets d’étranglement sur les traitements de données et à proposer des solutions efficaces.Communication : Aptitude à vulgariser des sujets techniques auprès d’interlocuteurs métiers et techniques.Travail en équipe : Capacité à collaborer au sein d’équipes pluridisciplinaires en environnement Agile.Autonomie et proactivité : Capacité à prendre des initiatives et à être force de proposition sur les choix d’architecture Data.Curiosité technique : Veille active sur les évolutions des technologies Cloud et Data., Tu possèdes au minimum 5ans d’expérience dans le développement de projets Data.

Tes qualités et compétences techniques sont les suivantes :

  • Maîtrise approfondie de PySpark (développement distribué, optimisation des jobs Spark, gestion de la mémoire et du partitionnement).
  • Solide expertise en SQL (requêtage complexe, optimisation de performances, modélisation de data warehouses).
  • Expérience confirmée sur dbt (développement de modèles, macros, tests de données, documentation).
  • Connaissance avancée de l’écosystème Cloud AWS (S3, Glue, EMR, Redshift, IAM, Lambda, etc.).
  • Maîtrise de Terraform pour le provisionnement et la gestion automatisée des ressources Cloud.
  • Bonnes pratiques de développement logiciel (Git, CI/CD, tests unitaires et d’intégration).

Tes qualités et compétences transverses sont les suivantes :

  • Esprit d’analyse et de résolution de problèmes : Capacité à diagnostiquer rapidement les goulets d’étranglement sur les traitements de données et à proposer des solutions efficaces.
  • Communication : Aptitude à vulgariser des sujets techniques auprès d’interlocuteurs métiers et techniques.
  • Travail en équipe : Capacité à collaborer au sein d’équipes pluridisciplinaires en environnement Agile.
  • Autonomie et proactivité : Capacité à prendre des initiatives et à être force de proposition sur les choix d’architecture Data.
  • Curiosité technique : Veille active sur les évolutions des technologies Cloud et Data., Apache spark Scala Force de proposition SQL AWS Gestion des données Git Développement logiciel Pro-activité Travail en équipe Big data Optimisation des performances Autonomie Terraform Esprit d’analyse

About the company

Rejoindre NEXTON, c’est intégrer une entreprise où convergent l’esprit d’un cabinet de conseil, la créativité d’une Factory et la dynamique d’une ESN ! Grâce à notre expertise, nous accompagnons des clients grands comptes et des pure players tels que SNCF, Orange, et BNP Paribas dans leurs stratégies d’évolution et d’innovation digitale.

Fondée en 2011, NEXTON réunit aujourd’hui une équipe de plus de 450 experts spécialisés dans le digital, le design, l’agilité, le produit et le développement. Ensemble, ils créent un écosystème riche en connaissances et en compétences diversifiées., Qui sommes-nous ?Rejoindre NEXTON, c’est intégrer une entreprise où convergent l’esprit d’un cabinet de conseil, la créativité d’une Factory et la dynamique d’une ESN ! Grâce à notre expertise, nous accompagnons des clients grands comptes et des pure players tels que SNCF, Orange, et BNP Paribas dans leurs stratégies d’évolution et d’innovation digitale.Fondée en 2011, NEXTON réunit aujourd’hui une équipe de plus de 450 experts spécialisés dans le digital, le design, l’agilité, le produit et le développement. Ensemble, ils créent un écosystème riche en connaissances et en compétences diversifiées.

Apply for this position

This job is hosted externally. Click below to view the full posting and apply.

Apply on www.hellowork.com
Prepare application

Good distractions

Loading talks and stories from around this role…