Data Engineer DWH
Role details
Job location
Tech stack
Job description
- Ruwe data verzamelen en structureren uit diverse bronnen, rekening houdend met de door Infrabel vastgelegde methodologie en normen, om een logisch extract van bruikbare data te bekomen en de basis te creëren voor latere analyses.
- ETL-scripts/jobs opzetten en uitvoeren op basis van de platformen SAS 9 en SAS Viya.
- Een stevige ervaring hebben in de programmeertalen SAS en SQL.
- In staat zijn SAS-programma's en SQL-procedures te begrijpen en te optimaliseren.
- ETL-scripts/jobs controleren, optimaliseren en valideren.
- Scripts/jobs opzetten en uitvoeren in Python, R, Nifi en PySpark.
- De werking begrijpen van een databasebeheersysteem, de normaalvormen, de relaties tussen entiteiten, …
- Zich comfortabel voelen met systemen zoals Linux en Open Shift.
- Scripts en procedures documenteren.
- De datakwaliteit controleren, eventuele onregelmatigheden detecteren en mogelijke fouten m.b.t. de data bespreken met de data-eigenaar om analyses te kunnen uitvoeren op data van hoge kwaliteit en een nauwkeurigere inschatting te kunnen maken.
- Het belang en de betrouwbaarheid van de relaties en de gevonden verbanden controleren om tot een resultaat te komen dat de realiteit weerspiegelt.
- Deelnemen aan het beheer en de configuratie van de platformen en tools die door het DWH-team worden gebruikt.
Requirements
We zijn op zoek naar een Data Engineer om het Data WareHouse (DWH)-team te versterken. De taken gaan van ETL-beheer tot de ontwikkeling van nieuwe oplossingen in het kader van projecten rond artificiële intelligentie en machine learning, met een goede beheersing van de tools en systemen die binnen het team DWH worden gebruikt.
- Bijzondere aandacht besteden aan het delen van kennis en het elkaar helpen met je collega's.
- Gemakkelijk kunnen bepalen welke acties moeten worden ondernomen en welke contacten moeten worden gelegd om je activiteiten autonoom vooruit te helpen.
- Je kennis in je vakdomein blijven verbeteren.
- Bereid zijn om occasioneel in het weekend te werken om je ontwikkelingen in productie te zetten.
- Bereid zijn om deel te nemen aan de DWH-wachtdienst.
Je hebt:
-
Een Masterdiploma of gelijkwaardig door ervaring.
-
Je spreekt vlot één van de landstalen en hebt een goede kennis van het Engels. Kennis van de andere landstaal is een pluspunt.
-
Je hebt een goede kennis van de platformen SAS9 en Viya en van het opzetten en uitvoeren van ETL-scripts/jobs.
-
Je hebt een (zeer) goede kennis en ruime ervaring met de programmeertalen SAS en SQL.
-
Je hebt kennis en ervaring met Python- en R-scripts/jobs.
-
Je onderscheidt je door je analytische en nieuwsgierige geest.
-
Je communiceert duidelijk en gestructureerd en kan je communicatiestijl aanpassen aan je gesprekspartner.
-
Je hebt het vermogen om je snel vertrouwd te maken met nieuwe onderwerpen en technologieën.
-
Je bent flexibel en kan zelfstandig werken terwijl je geïntegreerd bent in je projectteam.
Praktische info