Senior Data Engineer

Akuaro

Martorell, Spain

6 days ago

Role details

Contract type

Permanent contract

Employment type

Full-time (> 32 hours)

Working hours

Regular working hours

Languages

English, Interlingua

Job source

www.buscojobs.com.es

Tech stack

Artificial Intelligence Microsoft Azure Cloud Computing Continuous Integration Extract Transform Load (ETL) Supervisory Control and Data Acquisition (SCADA) Python (Programming Language) Machine Learning Message Queuing Telemetry Transport (MQTT) SAP (Applications) SQL Databases Enterprise Data Management

+4 more

Apache Spark Apache Kafka Terraform Databricks

Job description

Zona Martorell-Rubí (Vallés Occidental)

Híbrido, 50% remoto

***** €

Contrato indefinido

Vehículo propio imprescindibleDesde Akuaro colaboramos con un gran grupo industrial europeo que está creando una nuevaOficina de Transformación Digitalpara llevar la ingeniería de datos y la inteligencia artificial directamente a sus operaciones.La compañía cuenta con unbacklog de iniciativas de Data e IArelacionadas con producción, energía, materias primas, logística y eficiencia industrial.Algunos de sus primeros proyectos buscan mejorar procesos productivos críticos, donde pequeños incrementos de eficiencia pueden generar un impacto económico de millones de euros.No es una posición de reporting ni de mantenimiento de ETLs básicos. Buscamos a una persona que ayude a construir la plataforma que conectará las plantas industriales conMicrosoft AzureyDatabricks, creando la base necesaria para desarrollar productos de datos y desplegar modelos deMachine Learning e inteligencia artificial.Te incorporarás directamente a la plantilla de la compañía y formarás parte de un equipo interno de nueva creación. Durante los primeros meses trabajarás junto a un partner estratégico y tecnológico internacional de primer nivel, participando en la transferencia de conocimiento y asumiendo progresivamente el ownership de las soluciones desarrolladas.Tu misiónDiseñar, construir y operar pipelines fiables y escalables que conecten los sistemas industriales de planta con la plataforma corporativa de datos. Los equipos de sistemas de planta -OT, Operational Technology- capturan las señales procedentes de sensores,PLCyMES, y las publican localmente enKafka. Tu responsabilidad se centrará principalmente desdeKafkahacia arriba: ingesta, persistencia, transformación, gobierno y explotación del dato enAzureyDatabricks.Diseñar y desarrollar pipelines de datos utilizandoPythonySQL.Ingerir información industrial desdeKafkahaciaAzureyDatabricks.Desarrollar pipelines sobre una arquitecturaLakehouse / Medallion, trabajando con capasBronze, Silver y Gold.Trabajar con procesamientobatch, microbatch y streaming.Integrar información de planta con datos corporativos procedentes deSAPy otros sistemas.Aplicar buenas prácticas de calidad, observabilidad, trazabilidad y monitorización.Trabajar conApache Spark,Delta LakeyDatabricks.Colaborar en el gobierno del dato medianteUnity CatalogyMicrosoft Purview.Participar en la automatización de infraestructura y despliegues conTerraformyAzure DevOps.Construir productos de datos reutilizables, mantenibles y documentados.Colaborar con Data Scientists en la puesta en producción y el reentrenamiento de modelos.Trabajar con equipos de arquitectura, seguridad, sistemas y expertos industriales.Experiencia sólida construyendo y manteniendo pipelines de datos en producción.Buen nivel dePythonySQL.Experiencia conSpark,Databrickso plataformasLakehouseequivalentes.Conocimiento práctico de arquitecturasETL/ELTy procesamiento de grandes volúmenes.Experiencia con alguna plataforma cloud, preferentementeMicrosoft Azure.Capacidad para desarrollar soluciones mantenibles, documentadas y escalables.Perfil hands?on, con interés tanto por el diseño como por la implementación.Capacidad para colaborar con equipos técnicos, negocio y expertos industriales.Inglés profesional alto, hablado y escrito.Vehículo propio y disponibilidad para desplazarse regularmente a las instalaciones de la zona Martorell-Rubí.Será especialmente valorableKafkay otras tecnologías de streaming o mensajería comoMQTToMQ.Terraform,Azure DevOpsy procesos deCI/CD.Integraciones conSAP.Datos procedentes de sensores,IoTo series temporales.Sistemas industriales comoMES,SCADA, historians oPLC.Arquitecturasedge computing.Integración entre sistemas industriales -OT- y plataformas corporativas -IT-.Experiencia en automoción, química, energía, farma, alimentación, utilities o manufacturing.Un proyecto estratégico respaldado directamente por la dirección tecnológica.Una plataforma de datos que se está construyendo y evolucionando.Casos de uso con impacto directo sobre producción, energía y eficiencia.Colaboración con grandes profesionales y partners internacionales.Autonomía y capacidad real para proponer soluciones y buenas prácticas.Modelo híbrido con un50% de teletrabajo, autogestionado según las necesidades del proyecto.Horario de entrada flexible entre las 8:00 y las 9:30.Jornada intensiva de verano.Aparcamiento en las propias instalaciones.Comedor de empresa subvencionado al 50%.Sin guardias.Retribución fija de entre** y ** € brutos anuales, según experiencia.Importante: Las instalaciones se encuentran en un polígono industrial de la zona Martorell-Rubí ( Vallés Occidental ). Por su ubicación y las conexiones disponibles, disponer actualmente de vehículo propio es un requisito necesario.#J-*****-Ljbffr

Requirements

Experiencia sólida construyendo y manteniendo pipelines de datos en producción. Buen nivel de Python y SQL . Experiencia con Spark , Databricks o plataformas Lakehouse equivalentes. Conocimiento práctico de arquitecturas ETL/ELT y procesamiento de grandes volúmenes. Experiencia con alguna plataforma cloud, preferentemente Microsoft Azure . Capacidad para desarrollar soluciones mantenibles, documentadas y escalables. Perfil hands?on, con interés tanto por el diseño como por la implementación. Capacidad para colaborar con equipos técnicos, negocio y expertos industriales. Inglés profesional alto, hablado y escrito. Vehículo propio y disponibilidad para desplazarse regularmente a las instalaciones de la zona Martorell-Rubí. Será especialmente valorable Kafka y otras tecnologías de streaming o mensajería como MQTT o MQ . Terraform , Azure DevOps y procesos de CI/CD . Integraciones con SAP . Datos procedentes de sensores, IoT o series temporales. Sistemas industriales como MES , SCADA , historians o PLC . Arquitecturas edge computing . Integración entre sistemas industriales - OT

y plataformas corporativas - IT -. Experiencia en automoción, química, energía, farma, alimentación, utilities o manufacturing. Un proyecto estratégico respaldado directamente por la dirección tecnológica. Una plataforma de datos que se está construyendo y evolucionando. Casos de uso con impacto directo sobre producción, energía y eficiencia. Colaboración con grandes profesionales y partners internacionales. Autonomía y capacidad real para proponer soluciones y buenas prácticas. Modelo híbrido con un

Benefits & conditions

50% de teletrabajo , autogestionado según las necesidades del proyecto. Horario de entrada flexible entre las 8:00 y las 9:30. Jornada intensiva de verano. Aparcamiento en las propias instalaciones. Comedor de empresa subvencionado al 50%. Sin guardias. Retribución fija de entre ** y ** € brutos anuales