Senior Databricks Architekt | PySpark, Python, Data Lakehouse, IaC | bis 50% Home-Office (mwd)

Vesterling Consulting GmbH

Frankfurt am Main, Germany

11 days ago

Apply on www.adzuna.de

Prepare application

Role details

Contract type

Permanent contract

Employment type

Full-time (> 32 hours)

Experience level

Expert

Working hours

Regular working hours

Languages

English, German

Job source

www.adzuna.de

Tech stack

Application Programming Interfaces (APIs) Artificial Intelligence Airflow Advanced Message Queuing Protocol Data Analysis Microsoft Azure Cloud Computing COBOL (Programming Language) Continuous Integration Directed Acyclic Graph (Directed Graphs) Data Governance DevOps

+30 more

Github Apache Hive Python (Programming Language) Mainframes Microsoft Office NumPy Parsing Performance Tuning Swagger SciPy SQL Databases Openapi File Transfer Protocol (FTP) Flask (Web Framework) IT Architecture Infrastructure as Code (IaC) Backend Git Fastapi Pandas Matplotlib Containerization Data Lakes Pyspark Apache Kafka Data Lakehouse Restful APIs Docker Databricks Microservices

Job description

Als Senior Databricks Architekt erarbeiten Sie Lösungen im Banken- und Börsenumfeld. Sie migrieren dabei Legacy Mainframe-Systeme (COBOL, Flat Files) in moderne Cloud-Lakehouses.
Es geht umd die Auflösung gewachsener Datensilos und um den Bau cloudbasierter Lakehouse-Plattformen für Analytics und regulatorisches Reporting.
Von der Architekturskizze bis zur Pipeline, die im Betrieb tatsächlich hält, gestalten Sie diese Plattformen mit
Sie entwerfen und implementieren skalierbare Lakehouse-Lösungen, die Batch- und Near-Real-TimeVerarbeitung gleichermaßen tragen, bauen robuste Datenstrecken mit Python, SQL und PySpark - entlang der Medallion-Architektur von Bronze bis Gold und konzipieren event-getriebene Architekturen auf Basis von Kafka, AMQP oder vergleichbaren Messaging-Technologien.
Ihre Tätigkeit erbringen Sie im folgenden Umfeld:
Compute & Processing Engine: Databricks, PySpark, Python (pandas, numpy, scipy, os, itertools, matplotlib etc.), Spark SQL, Delta Lake
Data Lakehouse Storage: Delta Lake (ACID-Transaktionen, Time Travel, Schema Enforcement)
Orchestrierung & Workflow: Apache Airflow, Databricks Workflows (DAGs, Scheduling, Alerts)
API & Microservices: Python (FastAPI / Flask), OpenAPI / Swagger, Entwicklung von RESTful APIs
Data Governance & Mesh: Databricks Unity Catalog, OpenAPI Data Contracts
Legacy & File Ingestion: Mainframe EBCDIC, Fixed-Width-File-Parser (KI-gestützt), Kafka, SFTP
Infrastructure as Code (IaC): Cloud-Technologien, MS Azure
CI/CD & DevOps: GitHub Actions / Azure DevOps, Docker, Git

Requirements

Sie haben mehrjährige Berufserfahrung im nachfolgenden Technologieumfeld:
Databricks & PySpark: fundierte Kenntnisse in PySpark, Delta Lake, Performance Tuning, Partitionierungsstrategien sowie Databricks Unity Catalog
API-Entwicklung: ausgeprägte Python-Kenntnisse im Backend-Bereich (FastAPI, Flask, Requests, Pydantic, Containerisierung mit Docker)
Orchestrierung: Erfahrung im Schreiben komplexer Apache-Airflow-DAGs und/oder vergleichbarer Workflow-Tools
IT-Architektur: Kenntnisse der Medallion-Architektur, dezentraler Data-Mesh-Ansätze sowie allgemeiner Backend-Architekturen
Sie haben gute Deutsch- und Englischkenntnisse

Benefits & conditions

Sie arbeiten mit in einem spezialisierten Beratungshaus, das für die Finanzbranche im Raum Frankfurt tätig ist. Es geht dabei um Projekte, die vorhandene Systeme und Prozesse verändern, was z.B. durch regulatorische bzw. gesetzliche Anforderungen initiiert wird. Es erwartet Sie ein freundliches Team mit flachen Hierarchien, geregelten Arbeitszeiten und sehr guter technischer Ausstattung. Sie können ein Jobticket erhalten oder Firmenparkplätze nutzen.