Senior Data Architect - Data Lake & AWS 95% remote ID02259

Das Projekt Weiterentwicklung Daten- und Analyseplattform umfasst die Pflege und den Ausbau einer bestehenden Daten- und Analyseplattform (Data Lake) zur Sammlung, Verarbeitung und Aufbereitung von Analyse-, Reporting- und Machine-Learning-Daten. Gesucht wird ein erfahrener Data Architect, der die Architektur weiterentwickelt, komplexe fachliche Anforderungen umsetzt und Big-Data-Technologien in einem agilen Umfeld einsetzt., Erstellung von Big-Data-Prototypen für Datenintegration, -haltung, -aufbereitung und -analyse

• Entwicklung einer technischen Data-Lake-/DWH-Architektur mit Schwerpunkt auf der Analyse großer Datenmengen mit Spark
• Erarbeitung der Mehrschichtarchitektur (Landing-, Structured-, Export-, Use-Case-Zonen)
• Entwicklung und Optimierung von ETL-Routinen in Amazon Redshift und PostgreSQL
• Nutzung von AWS-Services wie S3, DynamoDB, Step Functions, EMR, AWS Glue, Athena, Lambda, RDS
• Softwareentwicklung in Scala und Python
• Dokumentation in Confluence, Aufgabensteuerung in Jira

Mindestens 6 Jahre Architekturverantwortung im Bereich Data Lake

• Mindestens 6 Jahre Erfahrung mit energiewirtschaftlichen Daten

• Mindestens 6 Jahre Erfahrung in der Umsetzung von Anforderungen mit Scala, Python, SQL, Java

• Mindestens 3 Jahre tiefgehende Kenntnisse der AWS-Services (S3, DynamoDB, Step Functions, EMR, AWS Glue, Athena, Lambda, RDS)

• Mindestens 6 Jahre Erfahrung in Datenbankentwicklung mit großen Datenmengen (Big Data) Bewertungskriterien (Soll):

• Mindestens 3 Jahre Erfahrung in der Modellierung und Entwicklung von ETL-Strecken - 20 %

• Erfahrung im Aufbau von Data-Lake-Architekturen - 20 %

• Ausgeprägtes Problemlösungs-Know-how zur aktiven Mitgestaltung komplexer Prozesse - 20 %

• Erfahrung in Infrastructure-as-Code (Terraform, AWS CDK, CloudFormation) - 20 %

• Erfahrung in Testautomatisierung mit PyTest und ScalaTest - 20 %