Data Engineer
Role details
Job location
Tech stack
Job description
Voor de Rijksdienst voor Ondernemend Nederland zijn wij op zoek naar een ervaren Cloud / Data Engineer. In deze rol werk je binnen het Programma AI aan de ontwikkeling van schaalbare, efficiënte en veilige data-platforms in de Microsoft Azure-cloud, waarbij Databricks en Kubernetes een centrale rol spelen. Je draagt bij aan de verdere opschaling van data- en AI-oplossingen die maatschappelijke impact hebben voor Nederland. Daarbij werk je in een DevOps-team waarin techniek, beleid en dienstverlening samenkomen. Over de opdracht Als Cloud / Data Engineer ben je verantwoordelijk voor het ontwerpen, realiseren en optimaliseren van moderne dataplatformen op Azure. Je vertaalt complexe businesslogica naar robuuste datasets en bouwt betrouwbare datapijplijnen die voldoen aan hoge eisen op het gebied van performance, governance en security. Daarnaast speel je een belangrijke rol in kennisdeling en de verdere ontwikkeling van interne medewerkers. Engineering & Transformaties
-
Ontwikkelen van datapijplijnen met Kubernetes, PySpark en SQL.
-
Werken met Spark Declarative Pipelines (SDP).
-
Ontwerpen van modulaire transformaties met dbt.
-
Automatiseren van deployments via Databricks Asset Bundles (DABs).
-
Optimaliseren van Databricks compute clusters.
-
Toepassen van Partitioning, Clustering, Z-Ordering en Liquid Clustering binnen Delta Lake.
-
Verbeteren van schaalbaarheid en performance van het platform. Governance & Security
-
Inrichten van centrale governance via Unity Catalog.
-
Implementeren van RBAC (Role-Based Access Control).
-
Toepassen van data security best practices.
-
Werken met Azure Active Directory en Key Vault. Kennisdeling
Requirements
-
Minimaal 4 jaar ervaring met cloud data platforms op Microsoft Azure en Databricks.
-
Minimaal 3 jaar ervaring met het ontwerpen en realiseren van dataplatformen en datapijplijnen met Kubernetes.
-
Minimaal 3 jaar ervaring met technische data solution architectuur, inclusief Governance & Security.
-
Minimaal 3 jaar ervaring met PySpark en SQL. Gewenste kennis en ervaring Competenties
-
Resultaatgericht en samenwerkingsgericht.
-
Continu gericht op verbetering.
-
Analytisch sterk.
-
Proactieve houding.
-
Professionele beheersing van de Nederlandse taal.