Data Architect - Azure Databricks
Westhouse Consulting GmbH
Frankfurt am Main, Germany
2 days ago
Role details
Contract type
Permanent contract Employment type
Part-time (≤ 32 hours) Working hours
Regular working hours Languages
German Experience level
IntermediateJob location
Frankfurt am Main, Germany
Tech stack
API
Amazon Web Services (AWS)
Data analysis
User Authentication
Azure
Big Data
Computer Security
Databases
Data Architecture
Information Engineering
Data Governance
Data Integration
Data Integrity
JSON
PostgreSQL
Machine Learning
Microsoft SQL Server
Message Queuing Telemetry Transport (MQTT)
Azure
Scala
SQL Databases
SQL Server Integration Services
Data Streaming
XML
Spark
Data Analytics
Kafka
Confluent
Databricks
Job description
- Beratung zur Architekturdefinition und Entwicklung eines einheitlichen, skalierbaren Data Lakehouse auf Basis von Azure Databricks, Azure Data Lake Storage (ADLS), dbt und Microsoft Fabric
- Durchführung der Datenintegration aus verschiedenen Quellsystemen (insb. Streaming/Event-Daten wie IoT, Kafka, MQTT; dateibasierte Quellen wie CSV, JSON, XML; API-gestützte und virtualisierte Da-tenquellen)
- Implementierung von Datenpipelines für Batch- und Streamverarbeitung mit Databricks und dbt, inklusive Datenqualitätsprüfungen und Metadatenmanagement
- Transformation und Modellierung von Daten entlang der Medaillon-Architektur (Bronze-, Silver-, Gold-Layer)
- Migration bestehender Datenflüsse und Datenmodelle (z. B. von SSIS, Microsoft SQL Server, RDS Postgres SQL, AWS S3) in die neue Architektur
- Aufbau und Pflege eines zentralen Metastores und Rechtekonzepts (Unity Catalog, AAD-Authentifizierung)
- Entwicklung und Umsetzung von Data Governance-Prozessen, einschließlich Compliance, Datenschutz, Zugriffskontrolle und Qualitätssicherung
- Bereitstellung von Datenprodukten und Self-Service Data Analytics für Fachbereiche über MS Fabric und Denodo
- Durchführung von Datenanalysen und Advanced Analytics, inklusive Integration von Machine Learning-Modellen
- Erstellung von System- und Betriebsdokumentationen sowie Schulungsunterlagen für die neue Plattform
- Durchführung von Performance- und Kostenanalysen mit dem Ziel der Betriebsoptimierung
- Beratung zur Einhaltung von Informationssicherheits- und Compliance-Anforderungen
- Unterstützung bei der Automatisierung und Standardisierung der Betriebsprozesse (z. B. Self-Service Data Engineering, Data as a Service, Analytics as a Service)
Requirements
- (MUSS) 5 Jahre Erfahrung in relevanten Tech-nologien (z. B. Azure Databricks, Spark, Data Lakehouse-Architekturen, Data Engineering im Cloud-Umfeld, Datenmodellierung)
- (MUSS) 5 Jahre Erfahrung in typischen Data Architect-Aufgaben (z. B. Entwicklung von Da-tenarchitekturen, Datenmodellierung, Datenbank-Designs, Überwachung der Datenintegrität, Migrationen, Einhal-tung von Datenschutz und Compliance)
- (MUSS) Kenntnisse in der Integration und Verarbeitung von Streaming- und Batch-Datenquellen sowie Daten-modellierung und -transformation mit Databricks und dbt, einschließlich der Umsetzung von Bronze-, Silver- und Gold-Layer-Konzepten aus 5 Projekten
- (MUSS) 5 Jahre Erfahrung in den im Technologiekatalog geforderten Bereichen (z. B. Spark, Azure Data Lake Storage, dbt, Scala, API-Entwicklung, Big Data Environments)
- (MUSS) Confluent Certified Developer Zertifizierung
- (SOLL) Azure Platform Architect Badge von Azure Databricks
- (SOLL) 3 Jahre Erfahrung in der Implementierung von Data-Governance-Prozessen auf Basis von Azure Databricks (z. B. Richtlinien, Prozessdokumentationen oder Referenzprojekte)
- (SOLL) Deutsch in Wort und Schrift - Level B2 / C1 / C2 etc. oder äquivalent.
