Senior Data Architekt

Westhouse Consulting GmbH

6 days ago

Role details

Contract type

Permanent contract

Employment type

Part-time (≤ 32 hours)

Working hours

Regular working hours

Languages

German, English

Experience level

Senior

Job location

Tech stack

API

Artificial Intelligence

Airflow

Amazon Web Services (AWS)

Data analysis

Big Data

Cloud Computing

Directed Acyclic Graph (Directed Graphs)

Data Architecture

Information Engineering

ETL

Data Structures

Python

Scrum

Power BI

SQL Databases

Data Streaming

Tableau

Large Language Models

Spark

Boto3

PySpark

Amazon Web Services (AWS)

Docker

Job description

Beratung bei der Weiterentwicklung des cloudnativen Backends, insbesondere bei der technischen Konzeptionierung und Implementierung von Datenbeladung und Integration neuer Features
Beratung und Weiterentwicklung der Datenarchitektur und Strategie sowie der Datenzugriffs- und Bereitstellungsstrategie
Erstellung und Weiterentwicklung des Betriebskonzepts und der Betriebsdokumentation
Analyse und Beurteilung von Daten und Entwicklung von Daten Pipelines basierend auf der bestehenden Architektur und dem aktuellen Zonen-Konzept (raw - trusted - refined)
Beratung der Data Scientists bei der Operationalisierung und Implementierung von ML-Frameworks
Data Exploration von neuen Datenquellen sowie Implementierung von geeigneten Datenstrukturen
Fachliche und methodische Unterstützung der Data Engineers und Scientists
Fachliche Unterstützung im SCRUM Team, Teilnahme an Refinements, Plannings, Reviews, Retros
Erstellung von Daten-Pipelines auf Basis von Python, Apache Spark, PySpark, SQL, Airflow DAGs, Boto3 API, SNS, SQS, REST
Zur Pipeline Erstellung notwendige Implementierung, Konfiguration und Nutzung der serverless AWS-managed Infrastruktur, speziell Glue, Apache Airflow, Batch und ECS/Fargate, S3, Athena, Lake Formation, Glue Data Quality und Redshift

Requirements

Mind. 6 Jahre Erfahrung in der Softwareentwicklung (z.B. GIT, Continuous Integration/Continuous Deployment (CICD))
Mind. 6 Jahre Erfahrung als Architekt im Bereich der strategischen und technologischen Weiterentwicklung moderner Batch- und Streaming-Architekturen (z.B. in den Bereichen Big Data, Datenanalyse, Row/ColumnLevel Security und KI)
Mind. 4 Jahre Erfahrung im Bereich der Data Exploration, Analyse und Modellierung
Mind. 4 Jahre Praxiserfahrung in der Entwicklung von ETL-Strecken und Datenmodellierung mittels der für die geforderte Pipeline-Entwicklung erforderlichen Tools und Programmiersprachen (SQL, Python, ...)
Mind. 4 Jahre Projekterfahrungen als Architekt beim Aufbau von Cloud nativen Datenplattformen mit der für die geforderte Pipeline-Entwicklung erforderlichen AWS Cloud Technologien und deren Managed Services
Mind. Englischkenntnisse auf C1-Niveau
Soll-Kriterien:
Mind. 1 Projekterfahrung im Bereich Data Science und der Anwendung bestehender Prognose-/Klassifikations-/Clusteringalgorithmen sowie der End to-End Operationalisierung von Data Science Use Cases (z.B. autom. Re-Training) Erfahrung in LLMs
Mind. 2 Jahre Praktische Erfahrung mit Docker Containern
Mind. 1 Projekterfahrung in Dashboard Entwicklung mit z.B. Power BI, QuickSight und Tableau
Mind. 4 Jahre Projekterfahrung im Umgang mit typischen Projekten und Daten in der Branche Transport & Logistik, insbesondere im Umgang mit unterschiedlichen Datenformaten, Qualitätseinschränkungen und Verarbeitungsprozessen
Mind. 4 Jahre Praxiserfahrung in der Durchführung von bereichsübergreifender Architektenteams
Mind. 4 Jahre nachweisbare Kenntnisse agiler & skalierter Arbeitsmethoden, wie Scrum und Kanban