Data Architekt - BigData

Westhouse Consulting GmbH

1 month ago

Role details

Contract type

Permanent contract

Employment type

Full-time (> 32 hours)

Working hours

Regular working hours

Languages

German

Experience level

Intermediate

Java

Amazon Web Services (AWS)

Automation of Tests

Big Data

ETL

Data Warehousing

Database Development

Amazon DynamoDB

Python

Scala

Software Engineering

SQL Databases

Amazon Web Services (AWS)

Spark

State Machines

Electronic Medical Records

Cloudformation

Pytest

Data Lake

Amazon Web Services (AWS)

Data Management

Terraform

Redshift

Erstellung von Big Data Prototypen für die Datenintegration, Datenhaltung, Daten-Aufbereitung Datenanalyse und Datennutzung im Projekt
Technische Data Lake / DWH Architektur mit dem Schwerpunkt: Analyse großerDatenmengen mit Hilfe von Spark
Erarbeitung der Mehrschicht-Architektur des Data Lakes (landing, structured, export, usecase-Zonen)
Entwicklung und Optimierung von ETL-Routinen im Amazon Redshift und Postsgres Umfeld. Entwicklung komplexer SQL-Statements.
Umgang mit AWS Services: S3, DynamoDB, Step Functions, EMR, AWS Glue, Athena, Lambda, RDS…
Softwareentwicklung mit Scala, Python

(Muss) 6 Jahre Architekturverantwortung im Bereich Data-Lake
(Muss) 6 Jahre Erfahrung mit energiewirtschaftlichen Daten in Unternehmen der Energiewirtschaft
(Muss) 6 Jahre Erfahrung in der Umsetzung von Anforderungen in den Sprachen: Scala, Python, SQL, Java
(Muss) 3 Jahre Erfahrung mit AWS-Services rund um Datenhaltung und Datenmanagement (S3, DynamoDB, Step Functions, EMR, AWS Glue, Athena, Lambda, RDS)
(Muss) 6 Jahre Erfahrung in der Datenbankentwicklung mit großen Datenmengen (BigData)
(Soll) 3 Jahre Erfahrung in der Modellierung- und Entwicklung für ETL Strecken
(Soll) 3 Jahre Erfahrung im Aufbau von Data-Lake Architekturen
(Soll) 3 Jahre Erfahrung mit Problemlösungs-Know-How
(Soll) 3 Jahre Erfahrung in der Entwicklung von Infrastructure as Code: Terraform, AWS CDK, CloudFormation
(Soll) 3 Jahre Erfahrung in der Testautomation mit PyTest und ScalaTest