Senior Kafka Architect in the Product Cluster Grid Asset
Westhouse Consulting GmbH
Berlin, Germany
14 days ago
Role details
Contract type
Permanent contract Employment type
Full-time (> 32 hours) Working hours
Regular working hours Languages
English, German Experience level
SeniorJob location
Berlin, Germany
Tech stack
User Authentication
Disaster Recovery
Failover
Metadata
Performance Tuning
Quorum
Role-Based Access Control
Data Logging
Kubernetes
Kafka
Confluent
Microservices
Job description
- Optimierung der Kafka-Architektur
- Analyse der bestehenden Kafka-Cluster-Architektur, einschließlich Topologie, Broker-Konfiguration, Replikationsfaktoren und Netzwerkdesign
- Identifikation von Architektur- und Performance-Schwachstellen
- Erarbeitung von Optimierungsvorschlägen hinsichtlich Skalierbarkeit, Sicherheit, Ausfallsicherheit, Resiliency, Latenz, Durchsatz und Betriebssicherheit
- Ableitung konkreter Architektur- und Konfigurationsempfehlungen
- Dokumentation der Zielarchitektur und Migrationspfade
- Definition von Verfügbarkeitsanforderungen (SLA, SLO)
- Konzeption einer hochverfügbaren Kafka-Architektur unter Berücksichtigung von:
- Multi-Broker- und Multi-Zonen-Setups
- Replikations- und Partitionierungsstrategien
- Controller- und Quorum-Design (z. B. KRaft)
- Bewertung von Failure-Szenarien und deren Auswirkungen
- Erstellung eines dokumentierten HA-Konzepts inkl. Failover-Strategien
- Erstellung und Umsetzung eines Konzepts für das Nutzer- und Rechte-Management in Kafka
- Behandlung von Security Aspekten auf Kubernetes Ebene im Zusammenspiel der Kafka Ressourcen-Verwaltung
- Migration der Schema-Verwaltung nach ApiCurio
- Umsetzung und Implementierung der ermittelten Maßnahmen mit dem internen Projektteam
- Erstellung und Implementierung eines Backup-, Restore- und Disaster-Recovery-Konzepts
- Analyse der bestehenden Backup- und Wiederherstellungsmechanismen.
- Definition von RTO- und RPO-Zielen.
- Konzeption eines Backup- und Restore-Verfahrens für:
- Kafka-Daten (Topics, Partitionen, Offsets)
- Konfigurations- und Metadaten
- Entwicklung eines Disaster-Recovery-Konzepts (z. B. Cross-Cluster-Replikation, MirrorMaker 2)
- Technische Begleitung bzw. Umsetzung der Implementierung
- Durchführung und Dokumentation von Wiederherstellungs- und DR-Tests
- Erstellung eines Betriebskonzepts
- Definition von Betriebs- und Supportprozessen (Incident-, Change- und Problem-Management)
- Konzeption von Monitoring-, Logging- und Alerting-Strategien
- Festlegung von Wartungs-, Update- und Patch-Prozessen
- Erstellung von Runbooks für Standard- und Störfälle
- Definition von Rollen, Verantwortlichkeiten und Eskalationswegen
Requirements
- mind. 5 Jahre Erfahrung als DevOps Engineer UND 3 Jahre als Kafka-Architekt
- Kafka - Backup-, Restore- und Disaster-Recovery-Verfahren (z. B. MirrorMaker 2, Cluster Replication)
- sehr gute Kenntnisse in Kafka Hochverfügbarkeitsumgebungen
- Operationalisierung von Apache Kafka als Kerntechnologie
- umfangreiches Know-How in Deployments mit ArgoCD und Helm
- sehr gute Erfahrungen mit Microservices und Containerorchestration
- sehr gute Deutschkenntnisse und English C1
- Nice to have:
- Tiefgehende Kenntnisse in der Architektur von Apache Kafka (Broker, Controller/KRaft, Topics, Partitionen, Replikation)
- Kenntnisse in Performance-Tuning, Kapazitätsplanung und Troubleshooting
- Erfahrung mit Sicherheitskonzepten (TLS, Authentifizierung, Autorisierung, ACLs/RBAC)
- Nachweisliche Erfahrung im Betrieb von Apache Kafka auf Kubernetes
- Kenntnisse gängiger Kafka-Operatoren (z. B. Strimzi, Confluent Operator)
- Erfahrung mit StatefulSets, Persistent Volumes, Storage-Klassen und Netzwerk-Policies
- Fundierte Kenntnisse von Kubernetes-Architektur und -Betrieb (Pods, Nodes, Scheduling, Networking)
- Erfahrung mit Hochverfügbarkeits- und Multi-Zonen-Setups
- Erfahrung in der Erstellung von Betriebskonzepten und Runbooks
- Erfahrung in technischer Beratung und Architekturdesign
- Fähigkeit zur Analyse bestehender Umgebungen und zur Entwicklung tragfähiger Zielarchitekturen
