Spark Data Engineer

SDG Group
Badajoz, Spain
5 days ago

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Experience required
5 years minimum
Working hours
Regular working hours
Languages
English

Tech stack

Artificial Intelligence Airflow Amazon Web Services Data Analysis Apache HTTP Server Microsoft Azure Big Data Cloud Computing Computer Engineering Continuous Integration Extract Transform Load (ETL) DevOps
+17 more
Python (Programming Language) DataOps Scala (Programming Language) Parquet Google Cloud Snowflake Apache Spark Git Data Lakes Kubernetes Apache Flink Apache Kafka Spark Streaming Machine Learning Operations Data Lakehouse Apache Beam Databricks

Job description

Overview¿Te gustaría llevar tu expertise en datos al siguiente nivel?EnSDG Groupsomoslíderes globalesen Big Data, Business Intelligence, Analytics e Inteligencia Artificial. Desde ** hemos acompañado a la mitad delIBEX-35 y a algunas de las compañías más destacadas a nivel internacionalen su transformación digital, convirtiendo los datos en soluciones de alto impacto gracias a nuestrasalianzas estratégicascon Microsoft, Google y AWS, y a los mejores aceleradores tecnológicos del mercado.Nuestro equipo deData Technologieses el epicentro donde aterrizan proyectos desafiantes y las soluciones más disruptivas. Trabajamos de forma transversal con clientes de múltiples sectores, siempre a la vanguardia tecnológica, combinandoinnovación, expertise y autonomía real.Diseñamos arquitecturas que marcan estándares y creamos aceleradores que transforman. No solo se ejecutan proyectos, sino que sedesarrollanaceleradores, artefactos y pruebas de concepto. Aquí defines, experimentas y tienes ownership para diseñar solucionesdesde cero.ResponsabilidadesDiseñarás y desarrollarás soluciones end-to-end para procesar grandes volúmenes de datos, desde el problema de negocio hastapipelines ETL/ELTescalables y optimizados.Trabajarás con tecnologías comoApache Spark, Python, Scala, Apache Beamy orquestación con Airflow o Databricks Workflows, generando insights.Procesarás y almacenarás datos utilizando formatos comoParquet, Delta Lake y Apache Iceberg, garantizando eficiencia y escalabilidad en entornos cloud (AWS, Azure, GCP).Definirásarquitecturas avanzadas como Data Lakehouse, Data Meshydata warehousesmejorando la gestión y el aprovechamiento de los datos.Colaborarás con equipos multidisciplinares y stakeholders, transformando requerimientos complejos en soluciones técnicas eficientes.Explorarás y evaluarástecnologías emergentes, como Databricks, Delta Live Tables, dbt Cloud, Apache Iceberg, Snowflake… contribuyendo a mantener nuestros proyectos a la vanguardia del ecosistema Big Data.Impulsarás la calidad y observabilidad de los datos aplicando DataOps, Data Quality y CI/CD, asegurando pipelines confiables y seguros.RequisitosFormaciónen Ingeniería Informática, Telecomunicaciones, matemáticas, Física, o similares.Experiencia en Big Data: al menos 5 años trabajando con procesamiento distribuido y pipelines ETL/ELT en entornos complejos, utilizando lenguajes como Python o Scala y frameworks como Spark, Airflow o Databricks; conocimiento de arquitecturas de datos (Data Lakehouse, cloud) y formatos/almacenamiento como Parquet, Delta Lake, Iceberg o Snowflake.Buenas prácticas y gestión de código: Git, CI/CD, DataOps, monitorización de pipelines, control de calidad de datos y versionado de datos.Mentalidad de innovación: Curiosidad por tecnologías emergentes y tendencias Big Data, con disposición a experimentar y proponer mejoras continuas.Que puedas comunicarte eningléspara trabajar en entornos globales y colaborar con equipos internacionales.Valoramos también:Experiencia en proyectos de streaming en tiempo real, utilizando tecnologías como Kafka, Kinesis, Flink o Spark Structured Streaming.Conocimientos avanzados en orquestación, DevOps para datos, gobernanza, calidad y seguridad, así como experiencia con Data Mesh y arquitecturas distribuidas.Experiencia en ML pipelines y MLOps integrados con Big Data, usando herramientas como MLflow, SageMaker, Vertex AI o Kubeflow.Beneficios y CulturaAquí no somos una empresa más… ¡somos un equipo que va a por todas!Tecnología e innovación sin límites. La tecnología y los datos son nuestra esencia. Trabajamos con lo más avanzado del mercado y te formamos para que domines las herramientas que están redefiniendo la industria. Tendrás acceso a las últimas plataformas y tecnologías: si algo es nuevo, lo estamos usando o evaluando.Desarrollo profesional a tu medida. Aquí no hay carreras rígidas ni caminos predefinidos: cada cierto tiempo se revisan tus logros y se definen nuevos objetivos. Podrás evolucionar hacia roles de arquitectura, tech lead, referente tecnológico o especialista en dominios complejos, manteniendo siempre un impacto directo en la tecnología y en las decisiones clave de los proyectos.Un equipo que te acompaña desde el primer día. Desde el minuto 1 formas parte del equipo de Data Technologies, formado por numerosos referentes donde la colaboración es el pilar fundamental.Propósito y valores que nos definen. Creemos firmemente en la diversidad y la inclusión como motores esenciales de la creatividad y la innovación. Es lo que nos permite superar cualquier desafío y construir un entorno donde cada perspectiva enriquece el resultado final.Contrato indefinido (¡queremos que te quedes mucho tiempo!)Flexibilidad total. Remoto 100%, híbrido u oficina. Tú decides dónde y cómo trabajas mejor.Jornada intensiva en julio y agosto, además de los viernes.Salario según tu formación y experiencia, con revisiones basadas en resultados.Apoyo económico para el teletrabajo.Acceso a formaciones, certificaciones oficiales, conferencias y cursos.Si te apasionan los datos, quieres trabajar con tecnología de última generación, y buscas un lugar donde tu crecimiento no tenga límites… ¡Este es tu momento!Mientras tanto, entérate de más:#J-***-Ljbffr

Requirements

innovación, expertise y autonomía real
.
Diseñamos arquitecturas que marcan estándares y creamos aceleradores que transforman. No solo se ejecutan proyectos, sino que se
desarrollan
aceleradores, artefactos y pruebas de concepto, y orquestación con Airflow o Databricks Workflows, generando insights.
Procesarás y almacenarás datos utilizando formatos como
Parquet, Delta Lake y Apache Iceberg
, garantizando eficiencia y escalabilidad en entornos cloud (
AWS, Azure, GCP, en Ingeniería Informática, Telecomunicaciones, matemáticas, Física, o similares.
Experiencia en Big Data
al menos 5 años trabajando con procesamiento distribuido y pipelines ETL/ELT en entornos complejos, utilizando lenguajes como Python o Scala y frameworks como Spark, Airflow o Databricks; conocimiento de arquitecturas de datos (Data Lakehouse, cloud) y formatos/almacenamiento como Parquet, Delta Lake, Iceberg o Snowflake. Buenas prácticas y gestión de código
Git, CI/CD, DataOps, monitorización de pipelines, control de calidad de datos y versionado de datos. Mentalidad de innovación
Curiosidad por tecnologías emergentes y tendencias Big Data, con disposición a experimentar y proponer mejoras continuas. Que puedas comunicarte en inglés para trabajar en entornos globales y colaborar con equipos internacionales. Valoramos también : Experiencia en proyectos de streaming en tiempo real, utilizando tecnologías como Kafka, Kinesis, Flink o Spark Structured Streaming. Conocimientos avanzados en orquestación, DevOps para datos, gobernanza, calidad y seguridad, así como experiencia con Data Mesh y arquitecturas distribuidas. Experiencia en ML pipelines y MLOps integrados con Big Data, usando herramientas como MLflow, SageMaker, Vertex AI o Kubeflow. Beneficios y Cultura Aquí no somos una empresa más… ¡somos un equipo que va a por todas! Tecnología e innovación sin límites . La tecnología y los datos son nuestra esencia. Trabajamos con lo más avanzado del mercado y te formamos para que domines las herramientas que están redefiniendo la industria. Tendrás acceso a las últimas plataformas y tecnologías: si algo es nuevo, lo estamos usando o evaluando. Desarrollo profesional a tu medida . Aquí no hay carreras rígidas ni caminos predefinidos: cada cierto tiempo se revisan tus logros y se definen nuevos objetivos. Podrás evolucionar hacia roles de arquitectura, tech lead, referente tecnológico o especialista en dominios complejos, manteniendo siempre un impacto directo en la tecnología y en las decisiones clave de los proyectos. Un equipo que te acompaña desde el primer día . Desde el minuto 1 formas parte del equipo de Data Technologies, formado por numerosos referentes donde la colaboración es el pilar fundamental.

Benefits & conditions

Contrato indefinido (¡queremos que te quedes mucho tiempo!) Flexibilidad total . Remoto 100%, híbrido u oficina. Tú decides dónde y cómo trabajas mejor. Jornada intensiva en julio y agosto, además de los viernes. Salario según tu formación y experiencia, con revisiones basadas en resultados. Apoyo económico para el teletrabajo. Acceso a formaciones, certificaciones oficiales, conferencias y cursos.

Apply for this position

This job is hosted externally. Click below to view the full posting and apply.

Apply on www.buscojobs.com.es

Good distractions

Talks and stories from around this role — technically off-topic, practically not.

2:15 min

Empowering domain teams with an open data platform

Sandhya Menon Sandhya Menon · WWC Europe 2026

6:21 min

Investigating push inefficiencies with upstream Git experts

Jonathan Creamer · Coffee With Developers

2:17 min

Mapping the maturity roadmap for scaled devops adoption

Dominik Krichbaum Dominik Krichbaum · WWC Europe 2026

3:14 min

Structuring career paths and localized data architectures

Ulrich Wurstbauer +1 · LIVE

3:05 min

Audience questions on AI agents and pipeline vectorization

Joy Joy · WWC 2024

3:18 min

Scaling global network engineering through DevOps culture

Stuart Clark · LIVE

Videos

See all

Related articles

See all