Data engineer

CompuGroup Medical
Municipality of Madrid, Spain
3 days ago

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Languages
Spanish
Experience level
Intermediate

Job location

Remote
Municipality of Madrid, Spain

Tech stack

Agile Methodologies
Airflow
Confluence
JIRA
Unit Testing
Big Data
Cloudera Impala
Encodings
Continuous Integration
Data Infrastructure
ETL
Data Mining
Programming Tools
Hive
IntelliJ
Python
Maven
Apache Oozie
Cloudera
Scala
Shell Script
SQL Databases
Data Streaming
Jupyter Notebook
Parquet
Apache Yarn
Fast Healthcare Interoperability Resources
Gitlab
GIT
PySpark
Information Technology
Health Level Seven International
Kafka
Apache Nifi

Job description

Estamos buscando un perfil de Ingeniero de Datos Mid-Level con experiencia en entornos Big Data sobre Cloudera para diseñar, desarrollar y mantener pipelines de datos escalables en el sector sanitario., * Diseñar queries de extracción de datos con SQL en Hive / Impala.

  • Automatizar pruebas unitarias, de integración y CI/CD con Git, GitLab.
  • Preparar Datos con calidad para casos de uso de IA.
  • Colaborar estrechamente con Data Scientists y el equipo de Gobierno del Dato para disponibilizar datos para casos de uso.

Requirements

Titulación: Ingeniería en Informática, biomédica, Telecomunicaciones, Matemáticas, Físicas o similar

  • Diseñar, desarrollar y desplegar pipelines de datos y su orquestación con Spark, PySpark, Python, Scala, Hive/Impala, Kudu, NiFi, Kafka, Oozie/Airflow.
  • Definir y mantener modelos de datos óptimos para analítica, reporting e IA con Parquet, Iceberg, Hive y Kudu., * Al menos 2 años de experiencia construyendo ETL en entornos Big Data productivos.
  • Experiencia con Cloudera Data Platform y herramientas asociadas ( Spark , HDFS, Nifi, Kafka , yarn, Hive, Impala) .
  • Dominio de Python y/o Scala, SQL y Shell Scripting.
  • Conocimientos de herramientas de desarrollo como Maven, IntelliJ IDEA, Jupyter Notebooks, Git y GitLab.
  • Gestión de flujos de streaming con Kafka y de ingestión con NiFi.
  • Uso habitual de metodologías ágiles como Kanban y gestión de tareas en Jira.
  • Conocimiento de Confluence para documentación.

Competencias especificas:

  • Conocimiento de Datos de Salud
  • Familiaridad con estándares HL7/FHIR. Codificaciones Medicas CIE-10 y antología SNOMED-CT
  • Certificación de Cloudera (Generalist, Data Operator ) o similar.

Benefits & conditions

  • Empleo estable en un sector con un gran potencial de desarrollo.
  • Beneficios sociales (seguro médico y cheque comida).
  • Formación continua para tu desarrollo profesional.
  • Flexibilidad laboral.
  • Modelo híbrido de trabajo (con gran % de jornada en formato teletrabajo).

About the company

CGM Clinical es la compañía con más instalaciones en España de sistemas de información hospitalarios, de historia clínica electrónica y de ayuda a la decisión. En todo el mundo, CGM implanta sistemas de información a más de 400.000 clientes de 40 países, incluidos 68 hospitales públicos en España. Todos los días, 10.000 empleados de CGM en todo el mundo crean soluciones de Salud Digital innovadoras que ayudan a curar y cuidar a las personas.

Apply for this position