Data Engineer
Vesterling Consulting GmbH
Frankfurt am Main, Germany
1 day ago
- Discuss this with your agent
- Open in Claude
- Open in ChatGPT
Apply on www.vesterling.com
Prepare application
- Draft this with your agent
- Open in Claude
- Open in ChatGPT
Role details
Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Experience level
Expert
Working hours
Regular working hours
Languages
English, German
Job source
Tech stack
Application Programming Interfaces (APIs)
Artificial Intelligence
Airflow
Advanced Message Queuing Protocol
Data Analysis
Microsoft Azure
Cloud Computing
COBOL (Programming Language)
Continuous Integration
Directed Acyclic Graph (Directed Graphs)
Data Governance
DevOps
+30 more
Github
Apache Hive
Python (Programming Language)
Mainframes
Microsoft Office
NumPy
Parsing
Performance Tuning
Swagger
SciPy
SQL Databases
Openapi
File Transfer Protocol (FTP)
Flask (Web Framework)
IT Architecture
Infrastructure as Code (IaC)
Backend
Git
Fastapi
Pandas
Matplotlib
Containerization
Data Lakes
Pyspark
Apache Kafka
Data Lakehouse
Restful APIs
Docker
Databricks
Microservices
Job description
- Als Senior Databricks Architekt erarbeiten Sie Lösungen im Banken- und Börsenumfeld. Sie migrieren dabei Legacy Mainframe-Systeme (COBOL, Flat Files) in moderne Cloud-Lakehouses.
- Es geht umd die Auflösung gewachsener Datensilos und um den Bau cloudbasierter Lakehouse-Plattformen für Analytics und regulatorisches Reporting.
- Von der Architekturskizze bis zur Pipeline, die im Betrieb tatsächlich hält, gestalten Sie diese Plattformen mit
- Sie entwerfen und implementieren skalierbare Lakehouse-Lösungen, die Batch- und Near-Real-TimeVerarbeitung gleichermaßen tragen, bauen robuste Datenstrecken mit Python, SQL und PySpark - entlang der Medallion-Architektur von Bronze bis Gold und konzipieren event-getriebene Architekturen auf Basis von Kafka, AMQP oder vergleichbaren Messaging-Technologien.
- Ihre Tätigkeit erbringen Sie im folgenden Umfeld:
- Compute & Processing Engine: Databricks, PySpark, Python (pandas, numpy, scipy, os, itertools, matplotlib etc.), Spark SQL, Delta Lake
- Data Lakehouse Storage: Delta Lake (ACID-Transaktionen, Time Travel, Schema Enforcement)
- Orchestrierung & Workflow: Apache Airflow, Databricks Workflows (DAGs, Scheduling, Alerts)
- API & Microservices: Python (FastAPI / Flask), OpenAPI / Swagger, Entwicklung von RESTful APIs
- Data Governance & Mesh: Databricks Unity Catalog, OpenAPI Data Contracts
- Legacy & File Ingestion: Mainframe EBCDIC, Fixed-Width-File-Parser (KI-gestützt), Kafka, SFTP
- Infrastructure as Code (IaC): Cloud-Technologien, MS Azure
- CI/CD & DevOps: GitHub Actions / Azure DevOps, Docker, Git
Requirements
- Sie haben mehrjährige Berufserfahrung im nachfolgenden Technologieumfeld:
- Databricks & PySpark: fundierte Kenntnisse in PySpark, Delta Lake, Performance Tuning, Partitionierungsstrategien sowie Databricks Unity Catalog
- API-Entwicklung: ausgeprägte Python-Kenntnisse im Backend-Bereich (FastAPI, Flask, Requests, Pydantic, Containerisierung mit Docker)
- Orchestrierung: Erfahrung im Schreiben komplexer Apache-Airflow-DAGs und/oder vergleichbarer Workflow-Tools
- IT-Architektur: Kenntnisse der Medallion-Architektur, dezentraler Data-Mesh-Ansätze sowie allgemeiner Backend-Architekturen
- Sie haben gute Deutsch- und Englischkenntnisse
- P.S. Sie fragen sich, ob es noch besser geeignete Stellen für Sie gibt? Unsere Karriereberatung hilft Ihnen weiter! Details finden Sie hier »
About the company
Vesterling ist seit über 25 Jahren einer der führenden Personaldienstleister im Bereich Technologie. Schwerpunkte der Tätigkeit sind das Recruiting von Experten bis hin zum Executive Search auf Vorstandsebene sowie das Outplacement. Unsere Consultants, selbst erfahrene Informatiker und Ingenieure, beraten Sie in allen Karrierefragen und unterstützen Sie bei der Auswahl geeigneter Positionen.
Apply for this position
This job is hosted externally. Click below to view the full posting and apply.
Apply on www.vesterling.com
Prepare application
- Draft this with your agent
- Open in Claude
- Open in ChatGPT
Good distractions
Loading talks and stories from around this role…