Intermediate Data Engineer (Sozialversicherungspflichtig angestellt)

Westhouse Consulting GmbH
Frankfurt am Main, Germany
1 month ago

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Languages
German
Experience level
Intermediate

Job location

Frankfurt am Main, Germany

Tech stack

Artificial Intelligence
Amazon Web Services (AWS)
Amazon Web Services (AWS)
Amazon Web Services (AWS)
Amazon Web Services (AWS)
Data analysis
Audit Trail
Cloud Computing
Computer Security
Continuous Integration
DevOps
Management of Software Versions
YAML
Enterprise Data Management
Prompt Engineering
Cloudformation
Route53
Terraform
Artifactory

Job description

  • Konzeption, Implementierung und Betrieb einer GenAI-/RAG-basierten Lösung für "Chat with your Data" unter Nutzung geeigneter AWS-Cloud-Services sowie bestehender Daten- und Analytics-Plattformen des Auftraggebers.
  • Entwicklung einer technischen Zielarchitektur für Datenanbindung, semantische Suche, Embeddings, Retrieval-Augmented Generation, Quellenbezug, Antwortgenerierung, Berechtigungskonzepte und sichere Nutzung von Unternehmensdaten.
  • Integration strukturierter und unstrukturierter Datenquellen, einschließlich Analyse geeigneter Datenquellen, Datenanbindung, Indexierung, Metadatenmanagement, semantischer Suche und Qualitätssicherung der bereitgestellten Inhalte.
  • Umsetzung und Automatisierung der benötigten Infrastruktur mittels Infrastructure as Code und geeigneter Cloud-/DevOps-Werkzeuge, insbesondere im Kontext von AWS, CI/CD-Pipelines und GitOps-orientierten Betriebsmodellen.
  • Entwicklung, Test und Betrieb von CI/CD-Pipelines für die Bereitstellung, Versionierung, Qualitätssicherung und Weiterentwicklung der Daten-, Plattform- und KI-Komponenten.
  • Berücksichtigung von IT-Sicherheit, Datenschutz, Responsible AI, Zugriffskonzepten und Governance-Anforderungen des Auftraggebers bei Architektur, Implementierung und Betrieb der Lösung.
  • Evaluation der Antwortqualität und fachlichen Nutzbarkeit des Chat-with-your-Data-Agents, insbesondere im Hinblick auf Quellenbezug, Nachvollziehbarkeit, Halluzinationsvermeidung, Prompt Engineering, Retrieval-Qualität und Nutzerfeedback.
  • Projektmanagement- und Abstimmungsleistungen im agilen Projektkontext, insbesondere Planung, Priorisierung, Dokumentation und Nachverfolgung von Anforderungen, Aufgaben, Risiken, Abhängigkeiten und Ergebnissen.
  • Erstellung und Pflege fachlicher und technischer Dokumentation zu Architektur, Datenquellen, Datenanbindung, Retrieval-Logik, Prompt-Konzepten, Berechtigungen, Sicherheitsaspekten, Betriebsmodellen und Nutzungsvorgaben.

Requirements

  • (Muss) 3 Jahre Erfahrung in der Entwicklung von CI/CD Pipelines mit AWS CDK und GitOps-Tools im Datenplattform-Kontext (Python Programming Zertifizierung, GitLab Zertifizierung, Artifactory, Pipeship, WhiteSource)
  • (Muss) 3 Jahre Erfahrung mit Entwicklung und Betrieb von Analytics- und AI-Plattformen in der AWS Cloud
  • (Muss) 3 Jahre Erfahrung mit Infrastructure Automation/IaC (AWS CloudFormation, AWS CloudFormation Guard, Terraform, YAML)
  • (Muss) Erfahrung mit der Konzeption oder Umsetzung von GenAI-/RAG-Lösungen, insbesondere Datenanbindung, semantische Suche, Embeddings, Quellenbezug und sichere Nutzung von Unternehmensdaten aus 2 Projekten
  • (Muss) 3 Jahre Erfahrung der AWS Cloud (Lake Formation, Glue, Glue DataBrew, EC2, S3, CloudFront, Route 53, CloudTrail, Secrets Manager, KMS, Step Functions, Lambda)
  • (Soll) Erfahrung in der Umsetzung von "Chat with your Data"- bzw. RAG-Lösungen aus 2 Projekten
  • (Soll) Erfahrung im Umfeld von Eisenbahnverkehrsunternehmen aus einem Projekt
  • (Soll) Erfahrung mit Datenanbindung, Indexierung und semantischer Suche für strukturierte und unstrukturierte Datenquellen aus 2 Projekten
  • (Soll) Erfahrung im Bereich Responsible AI, Datenschutz, Zugriffskonzepte und sichere Nutzung von Unternehmensdaten in GenAI-Anwendungen aus 2 Projekten
  • (Soll) Erfahrung mit Prompt Engineering, Evaluation von Antwortqualität sowie Umgang mit Halluzinationen und Quellenbezug aus 2 Projekten

Apply for this position