Data Engineer

W Hunt España
Málaga, Spain
2 days ago
Apply on www.buscojobs.com.es
Prepare application

Role details

Contract type
Apprenticeship
Employment type
Full-time (> 32 hours)
Experience required
3 years minimum
Working hours
Regular working hours

Tech stack

Amazon Web Services Big Data Extract Transform Load (ETL) Github Python (Programming Language) SQL Databases Apache Spark Pyspark Apache Kafka Spark Streaming

Job description

Data Engineer (AWS / PySpark / Kafka)100% remotoSobre el perfil:Buscamos un/a Desarrollador/a Big Data con experiencia en entornos AWS para incorporarse a un proyecto de gran envergadura.Formarás parte de un equipo técnico especializado en el desarrollo, mantenimiento y optimización de soluciones Big Data, trabajando con tecnologías como PySpark, Spark Streaming, Kafka y AWS para el procesamiento de grandes volúmenes de datos.Funciones:Desarrollo y mantenimiento de procesos de datos utilizando PySpark.Diseño, construcción y optimización de pipelines de datos en entornos AWS.Desarrollo de procesos ETL/ELT para el tratamiento de grandes volúmenes de información.Implementación de soluciones de procesamiento en tiempo real mediante Spark Streaming y Kafka.Transformación y explotación de datos mediante SQL.Gestión de tablas y almacenamiento utilizando Iceberg y/o Delta Lake.Automatización de procesos mediante Python.Colaboración con equipos multidisciplinares bajo metodologías ágiles.Control de versiones y colaboración mediante GitHub.Perfil buscado (H/M/D):Más de 3 años de experiencia Big Data o Ingeniería de Datos.Experiencia avanzada en Python y PySpark.Experiencia avanzada en AWS (Amazon Web Services).Experiencia con Apache Spark y Spark Streaming.Dominio de SQL para transformación y explotación de datos.Experiencia con Apache Kafka o sistemas de mensajería similares.Experiencia trabajando con Iceberg y/o Delta Lake.Conocimientos de GitHub para control de versiones.Valorable experiencia con Scala.Qué ofrecemosQué ofrecemos:Proyecto de larga duración con tecnologías Big Data de última generación.Modalidad 100% remota desde cualquier punto de España.Incorporación a un equipo altamente especializado.Entorno tecnológico innovador y colaborativo.Oportunidades de crecimiento profesional y aprendizaje continuo.Salario competitivo en función de la experiencia aportada.Siguientes pasos:Si estás interesado en esta oferta, haz click en "aplicar ahora" para enviar una copia actualizada de tu CV.

Requirements

Experiencia con Apache Spark y Spark Streaming.Dominio de SQL para transformación y explotación de datos.Experiencia con Apache Kafka o sistemas de mensajería similares.Experiencia trabajando con Iceberg y/o Delta Lake.Conocimientos de GitHub para control de versiones.Valorable experiencia con Scala.Qué ofrecemosQué ofrecemos:Proyecto de larga duración con tecnologías Big Data de última generación.Modalidad 100% remota desde cualquier punto de España.Incorporación a un equipo altamente especializado.Entorno tecnológico innovador y colaborativo.Oportunidades de crecimiento profesional y aprendizaje continuo.Salario competitivo en función de la experiencia aportada.Siguientes pasos:Si estás interesado en esta oferta, haz click en "aplicar ahora" para enviar una copia actualizada de tu CV.

Apply for this position

This job is hosted externally. Click below to view the full posting and apply.

Apply on www.buscojobs.com.es
Prepare application

Good distractions

Talks and stories from around this role — technically off-topic, practically not.

2:34 min

Capabilities of the Apache Spark processing engine

Ayon Roy · LIVE

3:28 min

Defining big data and machine learning fundamentals

Ayon Roy · LIVE

4:32 min

Harnessing Spark with Python using PySpark and Py4J

Ayon Roy · LIVE

6:36 min

Funding open source through GitHub Accelerator and Sponsors

Stormy Peters · World Congress 2023

2:10 min

Why organizations combine big data and machine learning

Ayon Roy · LIVE

2:04 min

Comparing offline data analytics with online stream processing

Artem Volk Artem Volk +1 · World Congress 2024

Videos

See all

Related articles

See all