Big Data Engineer Verantwoordelijkheden: Vereiste Kwalificaties en Ervaring: Gewenste Vaardigheden
V-IT
Brussels, Belgium
3 days ago
Role details
Contract type
Temporary to permanent Employment type
Full-time (> 32 hours) Working hours
Regular working hours Languages
Dutch Experience level
SeniorJob location
Remote
Brussels, Belgium
Tech stack
Java
Agile Methodologies
Artificial Intelligence
Airflow
Amazon Web Services (AWS)
Data analysis
Azure
Big Data
Cloud Computing
Databases
ETL
DevOps
Python
PostgreSQL
Metadata
Scala
Data Logging
Google Cloud Platform
Fluentd
Flask
Spark
GIT
FastAPI
Kubernetes
Data Lineage
Collibra
REST
Software Version Control
Docker
Job description
- Ontwerpen en ontwikkelen van data pipelines en ETL-dataflows voor het verzamelen, verwerken en integreren van grote hoeveelheden data.
- Ontwikkeling in Python en (Py)Spark voor performante data-analyse en modellering.
- In productie brengen van AI- en ML-modellen, in nauwe samenwerking met data scientists.
- Ontwikkelen in een hybride- en cloudomgeving en implementeren van containerized oplossingen (Docker, Kubernetes).
- Zorgen voor productieklare code met aandacht voor betrouwbaarheid, schaalbaarheid en onderhoud.
- Opzetten van monitoring, logging en lineage via tools zoals Airflow, OpenLineage, Fluentd, Marquez en Collibra.
- Ondersteuning bij unit-, performantie- en systeemtesten van dataprocessen en modellen.
- Opleveren van technische en functionele documentatie en het beheren van metadata.
Requirements
- Minimaal 5 jaar aantoonbare ervaring als Data Engineer.
- Ervaring met (Py)Spark, Python voor data-analyse en modellering.
- Ervaring met het in productie brengen van AI/ML-modellen en het automatiseren van dataprocessen.
- Ervaring met het opzetten en beheren van relationele en vector databases (bijv. PostgreSQL/pgvector).
- Ervaring met monitoring, logging, data lineage en governance-tools zoals Airflow, OpenLineage, Fluentd, Marquez, Collibra.
- Ervaring met programmeertalen zoals Python, Java of Scala voor het ontwikkelen van datastromen en ETL-processen.
- Nederlandstalig op Europees CEFR - niveau C2.
Gewenste Vaardigheden:
- Ervaring in het ontwerpen en implementeren van Extract, Transform, Load (ETL) processen.
- Ervaring met databanken.
- Ervaring met het implementeren van containerized oplossingen (Docker, Kubernetes).
- Ervaring met het ontwikkelen van schaalbare REST APIs in Python (FastAPI, Flask).
- Kritisch en oplossingsgericht denken om actief mee te bouwen aan schaalbare en duurzame data-oplossingen.
- Ervaring met werken in Cloud-omgevingen (AWS, Azure, GCP,…).
- Ervaring met werken in een Agile/DevOps-omgeving met versiebeheer (Git).
