Data Engineer - KI-Anwendungsentwicklung und Datenanalyseplattformen

Bundesdruckerei GmbH

Berlin, Germany

27 days ago

Role details

Contract type

Permanent contract

Employment type

Full-time (> 32 hours)

Working hours

Regular working hours

Languages

English, German

Job source

www.adzuna.de

Tech stack

Application Programming Interfaces (APIs) Artificial Intelligence Airflow Confluence Automation of Tests Unit Testing Bash Shell Continuous Integration Information Engineering Data Infrastructure Extract Transform Load (ETL) Data Warehousing

+13 more

Linux Python (Programming Language) PostgreSQL Message Queuing Telemetry Transport (MQTT) OpenShift Software Engineering SQL Databases Gitlab Containerization Data Lakes Kubernetes Information Technology Data Lakehouse

Job description

Verantwortung, Implementierung und Betrieb der Dateninfrastruktur in einem Softwareentwicklungsprojekt zur Realisierung eines KI-Assistenten für den öffentlichen Sektor
Anbindung weiterer Datenquellen an den KI-Assistenten
Verantwortung für den Entwurf und die (Weiter-)Entwicklung von komplexen anwendungsfallspezifischen Dateninfrastrukturen, Datenarchitekturen und Datenmodellen auf einer Datenanalyseplattform für Endkunden
Entwurf, Entwicklung, Test und Monitoring von Prozessen zur Extraktion, Transformation und Laden von Daten aus Quellsystemen in Data Warehouse, Data Lake (ETL/ELT-Pipelines) und Data Lakehouse
Gestaltung automatisierter Qualitätsprozesse zur Sicherstellung der Software- und Datenqualität sowie der Datenverfügbarkeit zur Einhaltung von Service Level Agreements

Requirements

Erfolgreich abgeschlossenes Studium der (Wirtschafts-)Informatik, Mathematik, Statistik oder eines vergleichbaren Studiengangs, alternativ eine Ausbildung in einem entsprechenden IT-Bereich mit relevanter Berufserfahrung
Fundierte Berufserfahrung in der Mitarbeit an (agilen) Projekten und Produkten im Kontext Data Engineering
Tiefgehende praktische Kenntnisse in der Python- und SQL-Entwicklung (PostgreSQL) sowie in Softwareentwicklungsstandards, Best Practices und Testing (Unit-Tests, Testframeworks, Mocking)
Fortgeschrittenes Fachwissen in Bezug auf Datenprozesse (z. B. ETL-Tools wie Apache Airflow, Argo Workflows und dbt), Data Warehousing und Datenmodellierung/-architektur sowie in Datenschnittstellen/APIs (u. a. REST, MQTT)
Praxis im Betrieb von Dateninfrastrukturen, Containerisierung, Kubernetes (Red Hat OpenShift), CI/CD (GitLab), Infrastructure as Code (IaaC, z. B. ArgoCD), Linux und Bash
Erfahrungen bei der Implementierung von KI-Anwendungen und RAG-Systemen sowie in der Nutzung von Vektordatenbanken (z. B. pgvector) und der Anbindung und Nutzung der Schnittstelle von Atlassian Confluence sind wünschenswert
Ausgeprägte analytische Fähigkeiten, strukturierte und lösungsorientierte Arbeitsweise sowie hohe Eigenständigkeit und Verantwortungsbewusstsein
Sehr gute Kommunikationsfähigkeit, Teamorientierung, Innovationsbereitschaft sowie sehr gute Deutsch- und Englischkenntnisse (mindestens B2-Niveau)