Data Ingestion Engineer 2fte

Een van de strategische speerpunten van NS is om meer datagedreven te werken. De afdeling Data Innovatie & Analyse (DIA) speelt hierin een cruciale rol. Door datagedreven te werken, kunnen we repeterende processen verder automatiseren, beslissingen beter onderbouwen en voorspellingen doen voor de toekomst. Je maakt deel uit van team Lakehouse, één van de vijf platformteams binnen DIA. Wij bouwen een grootschalig data-ingestieplatform dat datateams maximaal faciliteert, zodat zij zich volledig kunnen richten op het maken van waardevolle data-, informatie en AI-producten.

Als Data Ingestion Engineer ben je bij ons geen traditionele ‘pijplijnbouwer’. Je bent medeverantwoordelijk voor het volledige ontwikkel- en beheerproces van ons platform. De focus ligt hierbij op automatisering en kwaliteit. Je slaat de brug tussen software engineering en data engineering om een productiewaardig platform neer te zetten. Dankzij jou Python programmeer skills en ervaring met data-ingestie ben jij van onschatbare waarde bij het bouwen aan een solide, gestandaardiseerde ‘achterkant’ die data niet alleen verplaatst, maar ook valideert en als een betrouwbaar product aanbiedt. Je houdt je dagelijks bezig met:

• Je ontwikkelt met Python de core services van het data-ingestieplatform. Dit omvat generieke componenten voor patronen, zoals API en FTP en het implementeren van data push-principes (bijv. endpoints voor bronnen);
• Je zorgt voor logica rondom validatie, versioning en metadata-management, zodat we een betrouwbare ‘brons en zilver layer’ aanbieden in Databricks in plaats van enkel ruwe bestanden;
• Je werkt met RDBMS (bijv. Postgres) voor efficiënte opslag van dataconfiguraties;
• Je gebruikt containers (in Azure Container Apps) om pipelines in te draaien;
• Je ontwerpt en bouwt API’s.

Hier ga je werken

Je gaat werken in team Lakehouse. Dit is een autonoom scrumteam met zes Developers, een UX-designer, een Scrum Master en een Product Owner. We werken hybride, dus op ons hoofdkantoor in Utrecht of thuis. In principe hebben we één vaste kantoor dag maar je bent flexibel en vindt het geen probleem om vaker naar Utrecht of elders in het land te reizen. Samen willen we continue verbeteren, nemen we eigenaarschap en delen we actief kennis binnen en buiten het team. Bij NS vinden we diversiteit en inclusie belangrijk, het maakt samenwerken leuker en het resultaat wordt er vaak beter van. Wat jouw achtergrond of levensovertuiging is, maakt dan ook niet uit: we zijn vooral benieuwd naar jouw visie op de functie van Data Ingestion Engineer.

• Je beschikt over minimaal HBO werk- en denkniveau.
• Je beschikt over minimaal 3 jaar ervaring in een soortgelijke rol.
• Je beschikt over ervaring met het bouwen van robuuste, schaalbare en onderhoudbare services in Python.
• Je hebt een uitstekende beheersing (zowel mondeling als schriftelijk) van de Nederlandse taal.
• Je beschikt over werkervaring bij een soortgelijke organisatie als NS (minimaal 5000 plus werkplekken).
• Je beschikt over hands-on ervaring met Azure (Function Apps, Container Apps, ADLS Gen2) en schaalbare microservice-architecturen.
• Je beschikt over ervaring met Infrastructure as Code, bijvoorbeeld Terraform of Bicep.

• Je beschikt over ervaring met Databricks of Snowflake en je bent bekend met OTF.

• Je bent kritisch en doortastend, zodat je komt met verbetervoorstellen die je samen met je collega’s weet te realiseren.
• Je overziet het grotere geheel en lost problemen het graag structureel op.
• Je bent een ambitieuze en collegiale teamspeler.