> Markdown version of [/jobs/ext/2331473-ml-llm-ops-spezialist-in](https://www.wearedevelopers.com/jobs/ext/2331473-ml-llm-ops-spezialist-in). Every page supports `.md` or `Accept: text/markdown`. Links point to the HTML versions so they work for humans too. Agent guide: [/agents.md](https://www.wearedevelopers.com/agents.md). --- # ML & LLM Ops Spezialist:in - **Company:** Vienna Insurance Group - **Location:** Wien, Austria (Remote available) - **Salary:** €46,944.0 - **Contract:** Permanent contract - **Skills:** Application Programming Interfaces (APIs), Artificial Intelligence, Podcasting, Automation of Tests, Continuous Integration, Python (Programming Language), Microsoft Office, Regression Testing, Search Technologies, Software Engineering, Large Language Models, Prompt Engineering, Information Technology, Data Analytics, Machine Learning Operations, Databricks - **Published:** August 3, 2026 - **Apply:** https://at.indeed.com/viewjob?jk=e682078766e489d8 ## About the Role * Sie verfügen über ein abgeschlossenes Studium in Informatik, Software-Engineering, Wirtschaftsinformatik, Data Science, Artificial Intelligence oder über eine vergleichbare praktische Qualifikation * Sie bringen sehr gute Python- und Software-Engineering-Kenntnisse sowie Erfahrung darin mit, LLM-Anwendungen vom Prototyp bis zum produktiven Einsatz zu entwickeln * Sie verfügen über praktische Erfahrung mit Databricks, MLflow, Model Serving, Vector Search, APIs und Datenpipelines * Sie besitzen fundierte praktische Kenntnisse in den Bereichen RAG, Prompt Engineering, Tool Use, Agentenarchitekturen, zustandsbehaftete Workflows und Human-in-the-Loop-Prozesse * Sie haben Erfahrung in der Entwicklung von AI Judges, Evaluierungsdatensätzen und Bewertungsrastern sowie in deren Validierung anhand menschlicher Einschätzungen * Sie verfügen über ein sehr gutes Verständnis von CI/CD, Observability, Security, Governance und Responsible AI * Sie überzeugen durch ausgeprägte Kommunikations- und Teamfähigkeit, eine selbstständige und lösungsorientierte Arbeitsweise sowie sehr gute Englischkenntnisse; Deutschkenntnisse sind von Vorteil ## Description * Sie arbeiten eng mit Data Scientists, Data Engineers, Fachexpert:innen und Product Ownern zusammen, um robuste und langfristig gut weiterentwickelbare GenAI-Produkte für die gesamte Gruppe zu konzipieren * Sie entwickeln, implementieren und betreiben RAG-Anwendungen, Copilots bzw. Assistenzsysteme, agentenbasierte Workflows sowie weitere LLM-basierte Lösungen auf Databricks * Sie etablieren durchgängige LLMOps-Prozesse, einschließlich Prompt- und Modellversionierung, automatisierter Tests, Deployment, Monitoring, Guardrails und Feedbackschleifen * Sie entwickeln und betreiben AI Judges zur Qualitätsbewertung, für Regressionstests und das Produktionsmonitoring und kalibrieren diese anhand von Feedback menschlicher Expert:innen * Sie entwickeln agentenbasierte Lösungen unter Einsatz von Tool- und Function-Calling, MCP sowie Orchestrierungsframeworks wie LangChain und LangGraph * Sie stellen Sicherheit, Governance, Zuverlässigkeit, geringe Latenzzeiten und Kosteneffizienz sicher und tragen zur Entwicklung wiederverwendbarer Komponenten, Standards und Dokumentationen bei Data & Analytics, * Individuelles Talent Toolset (VIG Kompetenzmodell) zur Planung der persönlichen und professionellen Entwicklung * Regelmäßige VIG Talks zum Austausch zwischen Führungskräften und Mitarbeitenden * Laufbahn für Expert:innen als Alternative zur Managementkarriere * Coachings für Führungskräfte, Expert:innen, Expats * Trainings, Seminare und E-learnings zur fachlichen und persönlichen Weiterentwicklung * Gruppenweite Trainings mit kompetenten und internationalen Kooperationspartner:innen * Sprachkurse Gesundheit und Sport * Anonyme und kostenfreie Beratung durch externes Employee Assistance Program für Mitarbeiter:innen und Angehörige inklusiver einer Wellbeing Plattform mit Videos, Artikeln und Podcasts etc. * Hauseigenes Betriebsambulatorium mit ärztlicher Beratung, Physiotherapie und Massageangebot * Umfangreiches Sportangebot und Fitnesskurse durch einen externen Trainingsanbieter in ganz Österreich (vor Ort oder virtuell) * Laufevents wie der Vienna City Marathon * VIG Sportshirts aus nachhaltiger Produktion Familie * Krabbelstube, Kindergarten und Hort an zwei Standorten in der Nähe des Head Office * Geburtenbeihilfe, Kinderzulage und ein Geschenk für das Neugeborene * Die Papa-/Familienwoche bietet zusätzliche freie Tage bei Familienzuwachs * Services für Karenzierte, z. B. Karenz Coaching * Informationspakete für Familien zur Kinderbetreuung oder der Pflege von Angehörigen * Wir unterstützen Väterkarenz und Führung in Teilzeit, * (Virtuelle) Events für Mitarbeitende bieten regelmäßige Updates aus Human Resources oder dem Unternehmen * VIG Get-together * Social Active Day - ein arbeitsfreier Tag pro Jahr für gemeinnütziges Engagement * Zugang zu Veranstaltungen und Ausstellungen z. B. Architektur im Ringturm Arbeiten im Ringturm * Gute Erreichbarkeit mit öffentlichen Verkehrsmitteln und über Fahrradwege * Absperrbarer Fahrradabstellraum * Duschen * Kantine mit Frühstück und Mittagessen zu ermäßigten Preisen * Klimatisierte Büros durch nachhaltige Fernwärme bzw. Fernkälte * Arbeitsmittel für hybrides Arbeiten * Beratung zur ergonomischen Gestaltung des Arbeitsplatzes durch Arbeitsmediziner:innen * Höhenverstellbare Schreibtische in modern eingerichteten Büros * Angenehmes Ambiente durch Kunstwerke und Pflanzen * Barrierefreiheit in den meisten Räumlichkeiten * Recycling im Bürobetrieb, Fotovoltaik-Anlagen mit Sonnenstrom * Eine eventuelle Reisetätigkeit ist abhängig von der Position und Abteilung; das Ausmaß wird direkt im Gespräch mit dem Fachbereich bekannt gegeben. Virtueller Rundgang Zusammenarbeit und Purpose * VIG Kompetenzmodell "Talent Toolset" als Basis für die HR Arbeit * Unsere "Prinzipien der Zusammenarbeit" und ein "Leitfaden für inklusive Sprache" als Rahmen für die Kommunikation * Diversitätsmanagement zur individuellen Entfaltung * Diversity Beauftragte zur Umsetzung der Diversity Strategie * Employee Resource Group "all colours" zum Austausch und der Vernetzung von Mitarbeiter:innen der österreichischen Gruppengesellschaften rund um LGBTIAQ+ Themen * Abteilungsübergreifende und gruppenweite Projekte ermöglichen gegenseitigen Austausch und das Lernen voneinander. Gemäß unserem Versprechen "Schützen, was zählt" liegt es in unserer Verantwortung, jene Werte mit Respekt und Voraussicht zu behandeln, die unseren Kund:innen am Herzen liegen. * Unsere Mission ## Related Videos - [Cutting LLM Costs Without Cutting Quality: How to Beat Proprietary LLMs with Fine-Tuned Open Source](https://www.wearedevelopers.com/videos/100151-cutting-llm-costs-without-cutting-quality-how-to-beat-proprietary-llms-with-fine-tuned-open-source) - [LLMs in the wild: Building an AI agent that survives production](https://www.wearedevelopers.com/videos/100319-llms-in-the-wild-building-an-ai-agent-that-survives-production) - [WeAreDevelopers LIVE - Local Transcriptions with Open-Source AI](https://www.wearedevelopers.com/videos/1905-wearedevelopers-live-local-transcriptions-with-open-source-ai) - [PySpark - Combining Machine Learning & Big Data](https://www.wearedevelopers.com/videos/44-pyspark-combining-machine-learning-big-data) - [OLTP in the Lakehouse: Redefining Data for AI Workloads](https://www.wearedevelopers.com/videos/2038-oltp-in-the-lakehouse-redefining-data-for-ai-workloads) - [Three years of putting LLMs into Software - Lessons learned](https://www.wearedevelopers.com/videos/1508-three-years-of-putting-llms-into-software-lessons-learned) ## Related Articles - [Austria – the most livable place for software developers?](https://www.wearedevelopers.com/magazine/20-austria-the-most-livable-place-for-software-developers) - [Best Companies to Work For in Austria: Top 25 Companies in 2023 ](https://www.wearedevelopers.com/magazine/192-best-companies-to-work-for-in-austria-top-25-companies-in-2023) - [IT Salaries in Austria](https://www.wearedevelopers.com/magazine/286-it-salaries-in-austria) - [Software Developer Salary in Austria [2023]](https://www.wearedevelopers.com/magazine/213-software-developer-salary-in-austria-2023) - [What Are Large Language Models?](https://www.wearedevelopers.com/magazine/304-what-are-large-language-models) - [The Most Popular IT Jobs on the Market](https://www.wearedevelopers.com/magazine/376-the-most-popular-it-jobs-on-the-market)