Data Engineer

WayOps

Municipality of Madrid, Spain

5 days ago

Role details

Contract type

Permanent contract

Employment type

Full-time (> 32 hours)

Working hours

Regular working hours

Languages

Spanish

Experience level

Junior

Job location

Municipality of Madrid, Spain

Tech stack

Artificial Intelligence

Data analysis

Application Performance Management

Azure

Cloud Computing

Continuous Integration

Information Engineering

ETL

Data Transformation

Hadoop

Hadoop Distributed File System

Hive

Machine Learning

Microsoft Visual Studio

Power BI

Lucidchart

TensorFlow

SQL Databases

Data Streaming

Spark

GIT

PySpark

Databricks

Job description

La persona seleccionada se incorporará dentro de nuestro equipo Data & AI core, participando en múltiples proyectos de Analítica Avanzada para clientes nacionales e internacionales. Junto al Technical Lead y otros perfiles como Data Architects, Data Scientists o Data Visualizers, el Data Engineer deberá desarrollar código PySpark que permita la transformación de los datos siguiendo el paradigma medallion. Además, será responsable de la ingesta de datos, orquestación de procesos y garantizará la calidad del dato.

Requirements

El perfil a incorporar deberá contar con 3-4 años de experiencia como Ingeniero de Datos desarrollando pipelines de transformación de datos con tecnología PySpark, 1-2 años de experiencia en entornos Cloud preferentemente Azure y 1-2 años de experiencia en modelado de datos con herramientas como Lucidchart, orquestación de datos con herramientas como Data Factory y colaboración en el desarrollo de cuadros de mandos con herramientas como Power BI. Se valorará experiencia previa en proyectos orientados a calidad del dato, así como experiencia en resolución y gestión de incidencias en entornos productivos, conocimientos y experiencia con CI/CD en Azure DevOps y conocimientos en Machine Learning, Será necesario tener experiencia previa con tecnologías:

Databricks (PySpark, Dataframes, Delta Tables, Unity Catalog, Databricks Connect)
Azure (Data Factory, Databricks, Storage, SQL Databases)
ETL (ER, Relational-model, Star-model, MDM)
Azure DevOps (Boards)
Analytics (PowerBI)
Ecosistema Hadoop (HDFS, Map/Reduce, Spark, Hive)
Herramientas (Visual Studio Code, Git)

Además se valorará positivamente contar con experiencia o conocimientos en:

Azure (Event Hubs, IoTHub, CosmosDB, Application Insights)
Azure DevOps (Pipelines, Repos, Test Plans, Artifacts)
Machine Learning (sklearn, mllib, h2o, tensorflow, keras)
Spark (GraphX & GraphFrames, Structured Streaming, Scala, Optimización)
Property Graphs (Neo4j+Cypher, Tinkerpop+Gremlin)

About the company

La contratación será mediante contrato anual prorrogable como autónomo en jornada completa. El trabajo se desarrollará en remoto preferentemente dentro del horario de oficina del cliente para facilitar la coordinación con el resto del equipo. Banda salarial negociable en función de la experiencia aportada. Incorporación inmediata.