Data engineer
CompuGroup Medical
Municipality of Madrid, Spain
3 days ago
Role details
Contract type
Permanent contract Employment type
Full-time (> 32 hours) Working hours
Regular working hours Languages
Spanish Experience level
IntermediateJob location
Remote
Municipality of Madrid, Spain
Tech stack
Agile Methodologies
Airflow
Confluence
JIRA
Unit Testing
Big Data
Cloudera Impala
Encodings
Continuous Integration
Data Infrastructure
ETL
Data Mining
Programming Tools
Hive
IntelliJ
Python
Maven
Apache Oozie
Cloudera
Scala
Shell Script
SQL Databases
Data Streaming
Jupyter Notebook
Parquet
Apache Yarn
Fast Healthcare Interoperability Resources
Gitlab
GIT
PySpark
Information Technology
Health Level Seven International
Kafka
Apache Nifi
Job description
Estamos buscando un perfil de Ingeniero de Datos Mid-Level con experiencia en entornos Big Data sobre Cloudera para diseñar, desarrollar y mantener pipelines de datos escalables en el sector sanitario., * Diseñar queries de extracción de datos con SQL en Hive / Impala.
- Automatizar pruebas unitarias, de integración y CI/CD con Git, GitLab.
- Preparar Datos con calidad para casos de uso de IA.
- Colaborar estrechamente con Data Scientists y el equipo de Gobierno del Dato para disponibilizar datos para casos de uso.
Requirements
Titulación: Ingeniería en Informática, biomédica, Telecomunicaciones, Matemáticas, Físicas o similar
- Diseñar, desarrollar y desplegar pipelines de datos y su orquestación con Spark, PySpark, Python, Scala, Hive/Impala, Kudu, NiFi, Kafka, Oozie/Airflow.
- Definir y mantener modelos de datos óptimos para analítica, reporting e IA con Parquet, Iceberg, Hive y Kudu., * Al menos 2 años de experiencia construyendo ETL en entornos Big Data productivos.
- Experiencia con Cloudera Data Platform y herramientas asociadas ( Spark , HDFS, Nifi, Kafka , yarn, Hive, Impala) .
- Dominio de Python y/o Scala, SQL y Shell Scripting.
- Conocimientos de herramientas de desarrollo como Maven, IntelliJ IDEA, Jupyter Notebooks, Git y GitLab.
- Gestión de flujos de streaming con Kafka y de ingestión con NiFi.
- Uso habitual de metodologías ágiles como Kanban y gestión de tareas en Jira.
- Conocimiento de Confluence para documentación.
Competencias especificas:
- Conocimiento de Datos de Salud
- Familiaridad con estándares HL7/FHIR. Codificaciones Medicas CIE-10 y antología SNOMED-CT
- Certificación de Cloudera (Generalist, Data Operator ) o similar.
Benefits & conditions
- Empleo estable en un sector con un gran potencial de desarrollo.
- Beneficios sociales (seguro médico y cheque comida).
- Formación continua para tu desarrollo profesional.
- Flexibilidad laboral.
- Modelo híbrido de trabajo (con gran % de jornada en formato teletrabajo).
About the company
CGM Clinical es la compañía con más instalaciones en España de sistemas de información hospitalarios, de historia clínica electrónica y de ayuda a la decisión.
En todo el mundo, CGM implanta sistemas de información a más de 400.000 clientes de 40 países, incluidos 68 hospitales públicos en España.
Todos los días, 10.000 empleados de CGM en todo el mundo crean soluciones de Salud Digital innovadoras que ayudan a curar y cuidar a las personas.