Solution Architect (Use-Cases und Data Engineering/Science)

Westhouse Consulting GmbH

2 days ago

Role details

Contract type

Permanent contract

Employment type

Part-time (≤ 32 hours)

Working hours

Regular working hours

Languages

German

Experience level

Intermediate

Amazon Web Services (AWS)

Data analysis

Architectural Patterns

Confluence

Big Data

Continuous Integration

Information Engineering

ETL

DevOps

Python

Software Engineering

SQL Databases

Spark

Backend

GIT

PySpark

Front End Software Development

Docker

Analyse von Ist Zuständen (z.B. ETL-Strecken, Datenpipelines, Datensampeln, CI/CD Systeme, Cloud-Infrastruktur)
Ausarbeiten von Zielzuständen (z.B. ETL-Strecken, Datenpipelines, Generische Datenmodelle, ADRs)
Erarbeitung von Lösungsoptionen um vom Ist- zum Zielzustand zu gelangen, inkl. der
Durchführung von Workshops (z.B. ADR Workshops)
Bewertung und vorstellen von Lösungsoptionen (z.B. ADRs)
Mitgestaltung / Beratung zu den Themen ITK-Strategie und ITK-Architekturmgmt. Im cloudspezifischen Kontext (z.B. Soll-Architekturmodelle)
Analyse und Gestaltung der cloudspezifischen Business Architektur (z.B. ETL-Strecken, Dashboarding)
Organisation und Durchführung von themenspezifischen Workshops zur Präsentation von Projekt-/Arbeitsergebnissen (z.B. im Kontext von IoT, CI/CD, Docker, DevOps)
Erstellung entsprechender Dokumentation der Arbeitsergebnisse (z.B. Konzepte in Confluence, Code in den Repositories, ADRs)
Backend/Frontend Konzeption und Umsetzung: Fachliche Unterstützung bei der Weiterentwicklung des cloudnativen
Backends, dazu gehören die Konzeptionierung, Umsetzung und Dokumentation von neuen Features
Pipeline-Entwicklung: Entwicklung von Daten Pipelines auf Basis von Python, pySpark, Apache Spark, SQL und AWS
MWAA sowie der bestehenden Architektur und dem aktuellen ZonenKonzept (raw - trusted - refined)

(Muss) 6 Jahre Erfahrung im grundsätzlichen Aufbaus von cloud-nativen Datenplattformen mit batch sowie streaming-Datenverarbeitung
(Muss) 3 Jahre Erfahrung in Projekten zur datengestützten Berechnung von Fahrzeug- und Materialstammdaten KPIs im Eisenbahnsektors
(Muss) 6 Jahre Erfahrung in der SW-Entwicklung (z.B. GIT, CICD, Testing, DevOps)
(Muss) 5 Jahre Erfahrung in der Entwicklung und Automatisierung von ETL Strecken und der Datenmodellierung mittels der für die geforderte Pipeline-Entwicklung erforderlichen Tools und Programmiersprachen.
(Muss) 6 Jahre Erfahrung im Bereich der strategischen und technologischen Weiterentwicklung moderner Architekturen und Technologien in den Bereichen Big Data und Daten Analyse
(Soll) Architekturverständnis DB360 oder vergleichbaren Datenplattformen aus einem Projekt; Agiles Arbeiten: Kenntnisse agiler & skalierter Arbeitsmethoden aus einem Projekt
(Soll) 3 Kenntnisse der jeweils anderen Disziplin (Data Science Data Engineering): Erfahrung im Bereich Data Science und der Anwendung bestehender Prognose-/Klassifikations-/Clusteringalgorithmen sowie der End-to-End Operationalisierung
(Soll) Erfahrung im Umgang mit typischen Projekten und Daten in der Branche Transport & Logistik, insbesondere im Umgang mit unterschiedlichen Datenformaten, Qualitätseinschränkungen und Verarbeitungsprozessen
(Soll) Erfahrung mit IDE: pyCharm
(Soll) Erfahrung mit AWS Sagemaker aus einem Projekt