Data Engineer

Voor onze opdrachtgever zijn we op zoek naar een ervaren Data Engineer / Data Platform Engineer met sterke kennis van Microsoft Fabric, Azure en Python. Je speelt een belangrijke rol in de verdere ontwikkeling en het beheer van een modern, metadata-gedreven dataplatform.

Als Data Engineer werk je aan een Medallion Architecture binnen Microsoft Fabric, waarbij data vanuit verschillende bronsystemen op een gestandaardiseerde en schaalbare manier wordt verwerkt naar betrouwbare datasets en dataproducten voor analytics, rapportages en andere toepassingen.

• Ontwerpen, ontwikkelen, testen, documenteren en beheren van een metadata-gedreven Medallion Architecture binnen Microsoft Fabric.
• Ontwikkelen van generieke en herbruikbare ETL/ELT-processen voor data uit circa 11 verschillende bronsystemen.
• Realiseren van metadata-gestuurde imports van brondata.
• Verwerken van data vanuit de Bronze-laag naar de Silver-laag, inclusief:
• Data Quality-controles;
• Validatie en monitoring;
• SCD Type 2 historisering;
• Foutafhandeling en logging.
• Ontwikkelen van de Gold-laag, onder andere met:
• Materialized Lake Views;
• Dimensionele datamodellen;
• Feitentabellen en dimensietabellen;
• Datamodellen voor verschillende businessdomeinen.
• Beschikbaar maken van datasets en dataproducten voor eindgebruikers, analytics en rapportagedoeleinden.
• Ontwikkelen van een onderhoudsapplicatie waarmee procesmetadata beheerd en onderhouden kan worden.
• Bijdragen aan de verdere standaardisatie, schaalbaarheid, betrouwbaarheid en performance van het dataplatform.
• Samenwerken met data engineers, platform engineers, data professionals en business stakeholders.
• Documenteren van technische oplossingen, datastromen en processen.

Je bent een ervaren Data Engineer die zich prettig voelt in een moderne cloud dataomgeving en ervaring heeft met het ontwerpen en realiseren van schaalbare dataplatformen.

Must-haves

• Minimaal 4 jaar relevante werkervaring als Data Engineer / Data Platform Engineer.
• Aantoonbare ervaring met Microsoft Fabric.
• Goede kennis van Microsoft Azure en Azure data-oplossingen.
• Sterke programmeervaardigheden in Python.
• Ervaring met het ontwerpen en implementeren van een Medallion Architecture (Bronze, Silver, Gold).
• Ervaring met ETL/ELT en metadata-gedreven dataverwerking.
• Kennis van Data Quality, validatie en datamonitoring.
• Ervaring met dimensionele datamodellering en SCD Type 2.
• Ervaring met het ontwikkelen van datasets en dataproducten voor eindgebruikers.
• Je bent analytisch sterk en kunt complexe datavraagstukken vertalen naar robuuste technische oplossingen.

Pré

• Ervaring met Materialized Lake Views.
• Ervaring met Microsoft Fabric Lakehouse en/of andere Fabric-componenten.
• Ervaring met het ontwikkelen van metadata- of configuratiegedreven frameworks.
• Ervaring met meerdere bronsystemen en heterogene datastromen.
• Ervaring met data governance, lineage en data cataloguing.
• Ervaring binnen grote enterprise-omgevingen.

Ben jij een ervaren Data Engineer met minimaal 4 jaar ervaring en heb je sterke kennis van Microsoft Fabric, Azure, Python en Medallion Architecture? Dan komen we graag met je in contact.

• Een uitdagende rol binnen een moderne Microsoft Fabric / Azure dataomgeving.
• De mogelijkheid om mee te bouwen aan een schaalbaar en toekomstbestendig dataplatform.
• Veel ruimte voor technische verantwoordelijkheid en eigen inbreng.
• Werken aan verschillende businessdomeinen en concrete dataproducten.
• Een omgeving waarin data engineering, cloud technologie en analytics samenkomen.