> Markdown version of [/jobs/ext/2860382-senior-databricks-architekt-pyspark-python-data-lakehouse-iac-bis-50-home-office-mwd](https://www.wearedevelopers.com/jobs/ext/2860382-senior-databricks-architekt-pyspark-python-data-lakehouse-iac-bis-50-home-office-mwd). Every page supports `.md` or `Accept: text/markdown`. Links point to the HTML versions so they work for humans too. Agent guide: [/agents.md](https://www.wearedevelopers.com/agents.md). --- # Senior Databricks Architekt | PySpark, Python, Data Lakehouse, IaC | bis 50% Home-Office (mwd) - **Company:** Vesterling Consulting GmbH - **Location:** Frankfurt am Main, Germany (Remote available) - **Experience:** Expert - **Contract:** Permanent contract - **Skills:** Application Programming Interfaces (APIs), Artificial Intelligence, Airflow, Advanced Message Queuing Protocol, Data Analysis, Microsoft Azure, Cloud Computing, COBOL (Programming Language), Continuous Integration, Directed Acyclic Graph (Directed Graphs), Data Governance, DevOps, Github, Apache Hive, Python (Programming Language), Mainframes, Microsoft Office, NumPy, Parsing, Performance Tuning, Swagger, SciPy, SQL Databases, Openapi, File Transfer Protocol (FTP), Flask (Web Framework), IT Architecture, Infrastructure as Code (IaC), Backend, Git, Fastapi, Pandas, Matplotlib, Containerization, Data Lakes, Pyspark, Apache Kafka, Data Lakehouse, Restful APIs, Docker, Databricks, Microservices - **Published:** September 12, 2026 - **Apply:** https://www.adzuna.de/details/5879837614 ## About the Role * Sie haben mehrjährige Berufserfahrung im nachfolgenden Technologieumfeld: * Databricks & PySpark: fundierte Kenntnisse in PySpark, Delta Lake, Performance Tuning, Partitionierungsstrategien sowie Databricks Unity Catalog * API-Entwicklung: ausgeprägte Python-Kenntnisse im Backend-Bereich (FastAPI, Flask, Requests, Pydantic, Containerisierung mit Docker) * Orchestrierung: Erfahrung im Schreiben komplexer Apache-Airflow-DAGs und/oder vergleichbarer Workflow-Tools * IT-Architektur: Kenntnisse der Medallion-Architektur, dezentraler Data-Mesh-Ansätze sowie allgemeiner Backend-Architekturen * Sie haben gute Deutsch- und Englischkenntnisse ## Description * Als Senior Databricks Architekt erarbeiten Sie Lösungen im Banken- und Börsenumfeld. Sie migrieren dabei Legacy Mainframe-Systeme (COBOL, Flat Files) in moderne Cloud-Lakehouses. * Es geht umd die Auflösung gewachsener Datensilos und um den Bau cloudbasierter Lakehouse-Plattformen für Analytics und regulatorisches Reporting. * Von der Architekturskizze bis zur Pipeline, die im Betrieb tatsächlich hält, gestalten Sie diese Plattformen mit * Sie entwerfen und implementieren skalierbare Lakehouse-Lösungen, die Batch- und Near-Real-TimeVerarbeitung gleichermaßen tragen, bauen robuste Datenstrecken mit Python, SQL und PySpark - entlang der Medallion-Architektur von Bronze bis Gold und konzipieren event-getriebene Architekturen auf Basis von Kafka, AMQP oder vergleichbaren Messaging-Technologien. * Ihre Tätigkeit erbringen Sie im folgenden Umfeld: * Compute & Processing Engine: Databricks, PySpark, Python (pandas, numpy, scipy, os, itertools, matplotlib etc.), Spark SQL, Delta Lake * Data Lakehouse Storage: Delta Lake (ACID-Transaktionen, Time Travel, Schema Enforcement) * Orchestrierung & Workflow: Apache Airflow, Databricks Workflows (DAGs, Scheduling, Alerts) * API & Microservices: Python (FastAPI / Flask), OpenAPI / Swagger, Entwicklung von RESTful APIs * Data Governance & Mesh: Databricks Unity Catalog, OpenAPI Data Contracts * Legacy & File Ingestion: Mainframe EBCDIC, Fixed-Width-File-Parser (KI-gestützt), Kafka, SFTP * Infrastructure as Code (IaC): Cloud-Technologien, MS Azure * CI/CD & DevOps: GitHub Actions / Azure DevOps, Docker, Git ## Related Videos - [Python Data Visualization @ Deepnote (w/ PyViz overview)](https://www.wearedevelopers.com/videos/113-python-data-visualization-deepnote-w-pyviz-overview) - [How a Small Team Shrank a Microsoft Monorepo by 94%](https://www.wearedevelopers.com/videos/1236-how-a-small-team-shrank-a-microsoft-monorepo-by-94) - [Vectorize all the things! Using linear algebra and NumPy to make your Python code lightning fast.](https://www.wearedevelopers.com/videos/562-vectorize-all-the-things-using-linear-algebra-and-numpy-to-make-your-python-code-lightning-fast) - [Next Level Enterprise Architecture: Modular, Flexible, Scalable, Multichannel and AI-Ready?](https://www.wearedevelopers.com/videos/1017-next-level-enterprise-architecture-modular-flexible-scalable-multichannel-and-ai-ready) - [Git for Code Reviews](https://www.wearedevelopers.com/videos/429-git-for-code-reviews) - [Modern Data Architectures need Software Engineering](https://www.wearedevelopers.com/videos/1030-modern-data-architectures-need-software-engineering) ## Related Articles - [The Biggest German Tech Companies](https://www.wearedevelopers.com/magazine/424-the-biggest-german-tech-companies) - [Backend Developer Salary in Germany [2023]](https://www.wearedevelopers.com/magazine/196-backend-developer-salary-in-germany-2023) - [Frontend Developer Salary in Germany [2023]](https://www.wearedevelopers.com/magazine/195-frontend-developer-salary-in-germany-2023) - [Best Coding Boot Camps in Germany](https://www.wearedevelopers.com/magazine/237-best-coding-boot-camps-in-germany) - [Fullstack developer salary in Germany [2023]](https://www.wearedevelopers.com/magazine/197-fullstack-developer-salary-in-germany-2023) - [Finding Jobs in Germany](https://www.wearedevelopers.com/magazine/375-finding-jobs-in-germany)