Intermediate Data Engineer (Sozialversicherungspflichtig angestellt)

Westhouse Consulting GmbH

Frankfurt am Main, Germany

about 2 months ago

Role details

Contract type

Permanent contract

Employment type

Full-time (> 32 hours)

Experience level

Experienced

Experience required

3 years minimum

Working hours

Regular working hours

Job source

westhouse-consulting.de

Tech stack

Artificial Intelligence Amazon Web Services Amazon Cloudfront Amazon Elastic Compute Cloud Amazon S3 Data Analysis Audit Trail Cloud Computing Cyber Security Continuous Integration DevOps Management of Software Versions

+7 more

YAML Enterprise Data Management Prompt Engineering Cloudformation Route53 Terraform Artifactory

Job description

Konzeption, Implementierung und Betrieb einer GenAI-/RAG-basierten Lösung für “Chat with your Data” unter Nutzung geeigneter AWS-Cloud-Services sowie bestehender Daten- und Analytics-Plattformen des Auftraggebers.
Entwicklung einer technischen Zielarchitektur für Datenanbindung, semantische Suche, Embeddings, Retrieval-Augmented Generation, Quellenbezug, Antwortgenerierung, Berechtigungskonzepte und sichere Nutzung von Unternehmensdaten.
Integration strukturierter und unstrukturierter Datenquellen, einschließlich Analyse geeigneter Datenquellen, Datenanbindung, Indexierung, Metadatenmanagement, semantischer Suche und Qualitätssicherung der bereitgestellten Inhalte.
Umsetzung und Automatisierung der benötigten Infrastruktur mittels Infrastructure as Code und geeigneter Cloud-/DevOps-Werkzeuge, insbesondere im Kontext von AWS, CI/CD-Pipelines und GitOps-orientierten Betriebsmodellen.
Entwicklung, Test und Betrieb von CI/CD-Pipelines für die Bereitstellung, Versionierung, Qualitätssicherung und Weiterentwicklung der Daten-, Plattform- und KI-Komponenten.
Berücksichtigung von IT-Sicherheit, Datenschutz, Responsible AI, Zugriffskonzepten und Governance-Anforderungen des Auftraggebers bei Architektur, Implementierung und Betrieb der Lösung.
Evaluation der Antwortqualität und fachlichen Nutzbarkeit des Chat-with-your-Data-Agents, insbesondere im Hinblick auf Quellenbezug, Nachvollziehbarkeit, Halluzinationsvermeidung, Prompt Engineering, Retrieval-Qualität und Nutzerfeedback.
Projektmanagement- und Abstimmungsleistungen im agilen Projektkontext, insbesondere Planung, Priorisierung, Dokumentation und Nachverfolgung von Anforderungen, Aufgaben, Risiken, Abhängigkeiten und Ergebnissen.
Erstellung und Pflege fachlicher und technischer Dokumentation zu Architektur, Datenquellen, Datenanbindung, Retrieval-Logik, Prompt-Konzepten, Berechtigungen, Sicherheitsaspekten, Betriebsmodellen und Nutzungsvorgaben.

Requirements

(Muss) 3 Jahre Erfahrung in der Entwicklung von CI/CD Pipelines mit AWS CDK und GitOps-Tools im Datenplattform-Kontext (Python Programming Zertifizierung, GitLab Zertifizierung, Artifactory, Pipeship, WhiteSource)
(Muss) 3 Jahre Erfahrung mit Entwicklung und Betrieb von Analytics- und AI-Plattformen in der AWS Cloud
(Muss) 3 Jahre Erfahrung mit Infrastructure Automation/IaC (AWS CloudFormation, AWS CloudFormation Guard, Terraform, YAML)
(Muss) Erfahrung mit der Konzeption oder Umsetzung von GenAI-/RAG-Lösungen, insbesondere Datenanbindung, semantische Suche, Embeddings, Quellenbezug und sichere Nutzung von Unternehmensdaten aus 2 Projekten
(Muss) 3 Jahre Erfahrung der AWS Cloud (Lake Formation, Glue, Glue DataBrew, EC2, S3, CloudFront, Route 53, CloudTrail, Secrets Manager, KMS, Step Functions, Lambda)
(Soll) Erfahrung in der Umsetzung von “Chat with your Data”- bzw. RAG-Lösungen aus 2 Projekten
(Soll) Erfahrung im Umfeld von Eisenbahnverkehrsunternehmen aus einem Projekt
(Soll) Erfahrung mit Datenanbindung, Indexierung und semantischer Suche für strukturierte und unstrukturierte Datenquellen aus 2 Projekten
(Soll) Erfahrung im Bereich Responsible AI, Datenschutz, Zugriffskonzepte und sichere Nutzung von Unternehmensdaten in GenAI-Anwendungen aus 2 Projekten
(Soll) Erfahrung mit Prompt Engineering, Evaluation von Antwortqualität sowie Umgang mit Halluzinationen und Quellenbezug aus 2 Projekten