Zum nächstmöglichen Zeitpunkt suchen wir dich als ML Ops Engineer:in / Agent Ops Engineer:in (w/m/d) für die DB Engineering & Consulting GmbH am Standort Berlin.
-
Du bist verantwortlich für die Administration, Qualitätssicherung, Monitoring und die Optimierung von KI-Agenten und großen Sprachmodellen (LLMOps) im laufenden Betrieb
-
In deiner Rolle unterstützt du beim (betrieblichen) Wechsel auf neue LLM-Versionen – von der Anbindung im Modell-Gateway über Eval-Läufe gegen das neue Modell bis zum Regressions-Check und Rollout
-
Dabei administrierst und nutzt du Observability-, Evaluation-, CI / CD-, Deployment-Strukturen für KI-Agenten, entwickelst sie für einen reibungslosen Betrieb weiter, wirkst an der Etablierung einer prozessualen Governance-Struktur mit und dokumentierst die Betriebs- / Qualitätsprozesse
-
Du sorgst für den Wissenstransfer der zugehörigen Betriebs- und Qualitätsstandards an regionale und zentrale Teams
-
Die Einhaltung etablierter Architekturstandards sowie die Analyse und Behebung von Abweichungen in Test, Rollout und Betrieb neuer LLM-Versionen zählen zu deinen Aufgaben
-
Über neue Technologien und Werkzeuge im Bereich LLMOps, Observability, Evaluation und Agent-Deployment-Infrastruktur hältst du dich eigenständig auf dem Laufenden und du leitest deren Anwendbarkeit auf (vorhandene) Use Cases ab
-
Du erstellst und wartest wiederverwendbare Templates, Referenz-Implementierungen und Self-Service-Werkzeuge für das Onboarding neuer KI-Projekte auf der zentralen Plattform
-
Basis deines Erfolgs ist ein Studium als (Wirtschafts-)Informatiker:in, Data Scientist:in, KI-Expert:in oder eine vergleichbare Qualifikation durch relevante Berufserfahrung
-
Du bringst mehrjährige Berufserfahrung im Betrieb von LLM-basierten Systemen in Produktion mit (LLMOps, Deployment, Monitoring, Modellwechsel, Evaluation und Cost Tracking)
-
Neben umfangreichen Kenntnissen in Python und/oder TypeScript verfügst du über praktische Erfahrung mit CI/CD-Pipelines sowie mit der Azure-Plattform: Infrastructure-as-Code und Identity & Access (Entra ID, App Registrations, RBAC, Least-Privilege) für Plattform- und Agent-Zugriffe)
-
Du verfügst über praktische Erfahrung in der Administration und Nutzung einer LLM-Observability- und Evaluation-Plattform (z. B. LangSmith, LangFuse, Arize Phoenix oder Braintrust)
-
Idealerweise bringst du Erfahrungen mit LangChain / LangGraph, Azure Monitor / App Insights, Agent-Frameworks, Kubernetes sowie Service Principals oder Managed Identities für Agenten mit
-
Du lebst den Anspruch, sinnvolle und wiederverwendbare Standards mit deiner Arbeit zu setzen und übersetzt technische Anforderungen an Prozesse und Modelle in adressatengerechte Sprache
-
Deine Arbeitssprachen sind Deutsch und Englisch
Unser Anspruch ist es, allen Kandidat:innen bei gleicher Eignung die gleichen Chancen für den Einstieg bei uns zu bieten. Wir fördern aktiv die Vielfalt und das Miteinander in unseren Teams. Wir schätzen jede Bewerbung, unabhängig von Geschlecht, Nationalität, ethnischer und sozialer Herkunft, Religion, Weltanschauung, Behinderung, Alter, Dauer der Arbeitslosigkeit sowie sexueller Orientierung und Identität.
