Software Engineer - KI & Retrieval (RAG/Azure)
Role details
Job location
Tech stack
Job description
Baue mit uns die Legal-AI von Jurafuchs - auf Basis unserer proprietären Inhalte (Fragen, Lernmaterial, Foren, Urteile, Gesetzestexte). Fokus ist Backend & Plattform - kein UI/Frontend - mit Verantwortung für Retrieval-Pipelines, Azure-Integrationen, Evaluation sowie das Präzision/Speed/Cost-Trade-off.
RAG & Suche: Design und Betrieb von Pipelines auf Azure AI Search (Vektor + Hybrid), inkl. Chunking/Embeddings, Re-Ranking, Deduplizierung und zitierfähigen Antworten.
LLM-Integration (Azure OpenAI / ChatGPT): Robuste Chat/Tool-Flows; Parametertuning (temperature, top_p, Penalties, max_tokens) für Präzision, Latenz & Kosten.
Pipelines & Daten: Sichere Aufnahme/Normalisierung deutschsprachiger Rechtsquellen; Metadaten, Filter (PII) und Qualitäts-Checks.
Observability & Reliability: Logging, Tracing, Metriken; einfache Offline-Checks für Präzision, Latenz und Kosten.
Security & Compliance: DSGVO/EU-Datenresidenz, Schutz proprietärer Daten (Key Vault, RBAC, Private Endpoints), Least-Privilege.
Zusammenarbeit: Direkte Zusammenarbeit mit dem CTO in einem kleinen, pragmatischen Team; Unterstützung von Content-Erstellung & Lokalisierung (EN/FR perspektivisch).
Requirements
Nachweisliche Praxis mit RAG/Cognitive Search in Produktion, idealerweise auf Azure.
Hands-on mit Azure OpenAI (ChatGPT) und Parametertuning (temperature, top_p, Presence/Frequency-Penalties, Response-Steuerung).
Retrieval-Design mit Azure AI Search (Vektor + Hybrid/BM25, Semantic Ranker), Embeddings, Chunking-Heuristiken.
Starkes Backend in TypeScript/Node.js oder Python; solides SQL + ein Vektorspeicher.
Azure-Praxis (z. B. App Service/Functions, Storage, Key Vault, Monitor/App Insights), CI/CD, robuste APIs.
Security & Privacy in der Praxis: DSGVO/EU-Residenz, Secrets, RBAC, sauberes Logging.
Fähigkeit, mit deutschsprachigen Rechtstexten zu arbeiten; professionelle Kommunikation in Deutsch oder Englisch.
EU-Arbeitserlaubnis.
Nice-to-haves
Re-Ranking/Evaluations-Methoden; einfache Offline-Checks für Präzision/Groundedness.
Kosten/Latenz-Guardrails (Caching, Streaming, Batching, Fallbacks), Prompt-Design & Tool-Schemata.
Erfahrung mit mehrsprachigen Pipelines (DE EN/FR) und/oder juristischen Daten.
IaC (Terraform/Bicep), Networking (Private Endpoints), OpenTelemetry. React-Native
Benefits & conditions
Impact & Ownership
Verantwortung für zentrale AI-Plattform-Komponenten (Retrieval, LLM-Integration, Datenpipelines).
Direkter Einfluss auf Architektur, Code-Qualität und Roadmap - you build it, you run it.
Arbeitsumfeld
Flache Hierarchien, kurze Wege, moderner Stack, flexibles Remote-Setup., Wettbewerbsfähiges Gehalt * Laptop & Bildschirm nach Wahl * Flexible Arbeitszeiten & Home-Office.