Spark Data Engineer

SDG Group
A Coruña, Spain
2 days ago

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Languages
Spanish, English
Experience level
Senior

Job location

Remote
A Coruña, Spain

Tech stack

Artificial Intelligence
Airflow
Amazon Web Services (AWS)
Data analysis
Apache HTTP Server
Azure
Big Data
Cloud Computing
Computer Engineering
Continuous Integration
ETL
DevOps
Python
DataOps
Scala
Parquet
Google Cloud Platform
Snowflake
Spark
GIT
Data Lake
Kubernetes
Apache Flink
Kafka
Spark Streaming
Machine Learning Operations
Data Lakehouse
Apache Beam
Databricks

Job description

Overview¿Te gustaría llevar tu expertise en datos al siguiente nivel?EnSDG Groupsomoslíderes globalesen Big Data, Business Intelligence, Analytics e Inteligencia Artificial. Desde **** hemos acompañado a la mitad delIBEX-35 y a algunas de las compañías más destacadas a nivel internacionalen su transformación digital, convirtiendo los datos en soluciones de alto impacto gracias a nuestrasalianzas estratégicascon Microsoft, Google y AWS, y a los mejores aceleradores tecnológicos del mercado.Nuestro equipo deData Technologieses el epicentro donde aterrizan proyectos desafiantes y las soluciones más disruptivas. Trabajamos de forma transversal con clientes de múltiples sectores, siempre a la vanguardia tecnológica, combinandoinnovación, expertise y autonomía real.Diseñamos arquitecturas que marcan estándares y creamos aceleradores que transforman. No solo se ejecutan proyectos, sino que sedesarrollanaceleradores, artefactos y pruebas de concepto. Aquí defines, experimentas y tienes ownership para diseñar solucionesdesde cero.ResponsabilidadesDiseñarás y desarrollarás soluciones end-to-end para procesar grandes volúmenes de datos, desde el problema de negocio hastapipelines ETL/ELTescalables y optimizados.Trabajarás con tecnologías comoApache Spark, Python, Scala, Apache Beamy orquestación con Airflow o Databricks Workflows, generando insights.Procesarás y almacenarás datos utilizando formatos comoParquet, Delta Lake y Apache Iceberg, garantizando eficiencia y escalabilidad en entornos cloud (AWS, Azure, GCP).Definirásarquitecturas avanzadas como Data Lakehouse, Data Meshydata warehousesmejorando la gestión y el aprovechamiento de los datos.Colaborarás con equipos multidisciplinares y stakeholders, transformando requerimientos complejos en soluciones técnicas eficientes.Explorarás y evaluarástecnologías emergentes, como Databricks, Delta Live Tables, dbt Cloud, Apache Iceberg, Snowflake... contribuyendo a mantener nuestros proyectos a la vanguardia del ecosistema Big Data.Impulsarás la calidad y observabilidad de los datos aplicando DataOps, Data Quality y CI/CD, asegurando pipelines confiables y seguros.RequisitosFormaciónen Ingeniería Informática, Telecomunicaciones, matemáticas, Física, o similares.Experiencia en Big Data: al menos 5 años trabajando con procesamiento distribuido y pipelines ETL/ELT en entornos complejos, utilizando lenguajes como Python o Scala y frameworks como Spark, Airflow o Databricks; conocimiento de arquitecturas de datos (Data Lakehouse, cloud) y formatos/almacenamiento como Parquet, Delta Lake, Iceberg o Snowflake.Buenas prácticas y gestión de código: Git, CI/CD, DataOps, monitorización de pipelines, control de calidad de datos y versionado de datos.Mentalidad de innovación: Curiosidad por tecnologías emergentes y tendencias Big Data, con disposición a experimentar y proponer mejoras continuas.Que puedas comunicarte eningléspara trabajar en entornos globales y colaborar con equipos internacionales.Valoramos también:Experiencia en proyectos de streaming en tiempo real, utilizando tecnologías como Kafka, Kinesis, Flink o Spark Structured Streaming.Conocimientos avanzados en orquestación, DevOps para datos, gobernanza, calidad y seguridad, así como experiencia con Data Mesh y arquitecturas distribuidas.Experiencia en ML pipelines y MLOps integrados con Big Data, usando herramientas como MLflow, SageMaker, Vertex AI o Kubeflow.Beneficios y CulturaAquí no somos una empresa más... ¡somos un equipo que va a por todas!Tecnología e innovación sin límites. La tecnología y los datos son nuestra esencia. Trabajamos con lo más avanzado del mercado y te formamos para que domines las herramientas que están redefiniendo la industria. Tendrás acceso a las últimas plataformas y tecnologías: si algo es nuevo, lo estamos usando o evaluando.Desarrollo profesional a tu medida. Aquí no hay carreras rígidas ni caminos predefinidos: cada cierto tiempo se revisan tus logros y se definen nuevos objetivos. Podrás evolucionar hacia roles de arquitectura, tech lead, referente tecnológico o especialista en dominios complejos, manteniendo siempre un impacto directo en la tecnología y en las decisiones clave de los proyectos.Un equipo que te acompaña desde el primer día. Desde el minuto 1 formas parte del equipo de Data Technologies, formado por numerosos referentes donde la colaboración es el pilar fundamental.Propósito y valores que nos definen. Creemos firmemente en la diversidad y la inclusión como motores esenciales de la creatividad y la innovación. Es lo que nos permite superar cualquier desafío y construir un entorno donde cada perspectiva enriquece el resultado final.Contrato indefinido (¡queremos que te quedes mucho tiempo!)Flexibilidad total. Remoto 100%, híbrido u oficina. Tú decides dónde y cómo trabajas mejor.Jornada intensiva en julio y agosto, además de los viernes.Salario según tu formación y experiencia, con revisiones basadas en resultados.Apoyo económico para el teletrabajo.Acceso a formaciones, certificaciones oficiales, conferencias y cursos.Si te apasionan los datos, quieres trabajar con tecnología de última generación, y buscas un lugar donde tu crecimiento no tenga límites... ¡Este es tu momento!Mientras tanto, entérate de más:#J-*****-Ljbffr

Requirements

innovación, expertise y autonomía real . Diseñamos arquitecturas que marcan estándares y creamos aceleradores que transforman. No solo se ejecutan proyectos, sino que se desarrollan aceleradores, artefactos y pruebas de concepto, y orquestación con Airflow o Databricks Workflows, generando insights. Procesarás y almacenarás datos utilizando formatos como Parquet, Delta Lake y Apache Iceberg , garantizando eficiencia y escalabilidad en entornos cloud ( AWS, Azure, GCP, en Ingeniería Informática, Telecomunicaciones, matemáticas, Física, o similares. Experiencia en Big Data : al menos 5 años trabajando con procesamiento distribuido y pipelines ETL/ELT en entornos complejos, utilizando lenguajes como Python o Scala y frameworks como Spark, Airflow o Databricks; conocimiento de arquitecturas de datos (Data Lakehouse, cloud) y formatos/almacenamiento como Parquet, Delta Lake, Iceberg o Snowflake. Buenas prácticas y gestión de código : Git, CI/CD, DataOps, monitorización de pipelines, control de calidad de datos y versionado de datos. Mentalidad de innovación : Curiosidad por tecnologías emergentes y tendencias Big Data, con disposición a experimentar y proponer mejoras continuas. Que puedas comunicarte en inglés para trabajar en entornos globales y colaborar con equipos internacionales. Valoramos también : Experiencia en proyectos de streaming en tiempo real, utilizando tecnologías como Kafka, Kinesis, Flink o Spark Structured Streaming. Conocimientos avanzados en orquestación, DevOps para datos, gobernanza, calidad y seguridad, así como experiencia con Data Mesh y arquitecturas distribuidas. Experiencia en ML pipelines y MLOps integrados con Big Data, usando herramientas como MLflow, SageMaker, Vertex AI o Kubeflow. Beneficios y Cultura Aquí no somos una empresa más... ¡somos un equipo que va a por todas! Tecnología e innovación sin límites . La tecnología y los datos son nuestra esencia. Trabajamos con lo más avanzado del mercado y te formamos para que domines las herramientas que están redefiniendo la industria. Tendrás acceso a las últimas plataformas y tecnologías: si algo es nuevo, lo estamos usando o evaluando. Desarrollo profesional a tu medida . Aquí no hay carreras rígidas ni caminos predefinidos: cada cierto tiempo se revisan tus logros y se definen nuevos objetivos. Podrás evolucionar hacia roles de arquitectura, tech lead, referente tecnológico o especialista en dominios complejos, manteniendo siempre un impacto directo en la tecnología y en las decisiones clave de los proyectos. Un equipo que te acompaña desde el primer día . Desde el minuto 1 formas parte del equipo de Data Technologies, formado por numerosos referentes donde la colaboración es el pilar fundamental.

Benefits & conditions

Contrato indefinido (¡queremos que te quedes mucho tiempo!) Flexibilidad total . Remoto 100%, híbrido u oficina. Tú decides dónde y cómo trabajas mejor. Jornada intensiva en julio y agosto, además de los viernes. Salario según tu formación y experiencia, con revisiones basadas en resultados. Apoyo económico para el teletrabajo. Acceso a formaciones, certificaciones oficiales, conferencias y cursos.

Apply for this position