Wir suchen zum 1.1.2027 eine*n Postdoktoranden*in zur Durchführung der ersten systematischen Untersuchung der Struktur von Reasoning Circuits in kompakten mehrsprachigen Sprachmodellen. Es handelt sich um ein bilaterales Kooperationsprojekt zwischen DFKI und Inria, das vom BMFTR (SLIMS) finanziert wird und eine Brücke zwischen mechanistischer Interpretierbarkeit und mehrsprachiger NLP schlägt, um eine entscheidende Lücke zu schließen: Die bestehende Circuit-Analyse konzentriert sich auf große, englischzentrierte Modelle, wodurch die Frage der sprach- und skalenübergreifenden Übertragung von Circuits weitgehend unerforscht bleibt.
Sie werden eng mit dem ALMAnaCH-Team am Inria Paris (Prof. Benoit Sagot, Dr. Djamé Seddah) zusammenarbeiten, um eine kontrollierte Validierung unter Verwendung von Modellsuiten mit „Backdoor“ als Ground Truth durchzuführen. Das Projekt umfasst geplante bilaterale Forschungsaufenthalte und gemeinsame Workshops, die eine direkte Zusammenarbeit mit führenden Forschern im Bereich der mehrsprachigen Modellierung und der Interpretierbarkeitsmethodik ermöglichen.
Sie werden das gesamte mechanistische Toolkit (Aktivierungs-Patching, Sparse-Autoencoder, Autoencoder für natürliche Sprache, Transcoder) anwenden, um zu verstehen, ob Reasoning Circuits die Komprimierung überstehen und sich auf typologisch unterschiedliche Sprachen übertragen lassen. Ihre Arbeit wird direkt in die Entwicklung leistungsfähigerer mehrsprachiger Modelle einfließen und Methoden zur Interpretierbarkeit für sprachlich vielfältige Systeme voranbringen. Wir legen Wert auf eine rigorose Methodik und eine offene Diskussion der Ergebnisse, unabhängig davon, ob diese anfängliche Hypothesen bestätigen oder überraschende Erkenntnisse zutage fördern.
Wichtig ist, dass Sie als Teil eines vollständig integrierten Teams arbeiten, das sich aus Mitgliedern eines weiteren vom BMFTR finanzierten Projekts, SAgA, zusammensetzt. So wird sichergestellt, dass Ihre Erkenntnisse direkt in die Entwicklung sicherer agentischer Systeme einfließen und eine enge Rückkopplungsschleife zwischen mechanistischer Analyse und Sicherheitsarchitektur entsteht.
Die Stelle ist in die Gruppe „Multilinguality and Language Technology“ (MLT) unter der Leitung von Dr. Marius Mosbach eingebettet und wird auf Abteilungsebene von Prof. Kristian Kersting (SAINT-Abteilung, Darmstadt) und Prof. Verena Wolf (NMM-Abteilung, Saarbrücken) unterstützt; sowie in enger Zusammenarbeit mit dem ALMAnaCH-Team bei Inria Paris (Prof. Benoit Sagot, Dr. Djamé Seddah); der Hauptbetreuer der Stelle ist Dr. Simon Ostermann, in dessen Team "Efficient and Explainable NLP" die Stelle angesiedelt ist.
- Anwendung von Methoden zur Mechanistischen Interpretierbarkeit zur Identifizierung und Charakterisierung von Reasoning Circuits in kleinen mehrsprachigen Modellen
- Untersuchung der Circuit-Übertragung über Modellskalen (1B–7B) und über 20–30 typologisch unterschiedliche Sprachen hinweg
- Validierung von Interpretierbarkeitswerkzeugen der nächsten Generation (NLAs, Transcoder) im Bereich kleiner, mehrsprachiger Modelle
- Entwurf und Durchführung kontrollierter Validierungsexperimente unter Verwendung von Modellsuiten mit Hintertüren und bekannter Referenzdaten
- Veröffentlichung der Ergebnisse und offene Freigabe trainierter Interpretierbarkeitsartefakte (SAEs, NLAs, Transcoder)
Erforderliche Qualifikationen:
- Promotion in Informatik, NLP, Linguistik oder maschinellem Lernen
- Fundierte Fachkenntnisse im Bereich der mechanistischen Interpretierbarkeit (Circuit-Analyse, Aktivierungs-Patching, SAEs oder Ähnliches)
- Fundierte Kenntnisse im Bereich mehrsprachiger oder ressourcenarmer NLP
- Sehr gute Kenntnisse in Python und Deep-Learning-Frameworks
- Nachgewiesene Veröffentlichungen in renommierten Fachzeitschriften (ACL, EMNLP, NeurIPS, ICML oder gleichwertig)
Wünschenswerte Qualifikationen:
- Erfahrung mit Sparse-Autoencodern, Transcodern oder Autoencodern für natürliche Sprache
- Frühere Arbeiten zum sprachübergreifenden Transfer oder zur Analyse mehrsprachiger Repräsentationen
- Vertrautheit mit typologisch vielfältigen Sprachfamilien
- Interesse an KI-Sicherheit und -Alignment
- Erfahrung mit Evaluierungsinfrastruktur und Benchmarking
- Wir bieten eine attraktive, marktgerechte Vergütung und viele weitere Benefits ( Urban Sports Club, Corporate Benefits, Zuschuss zum Jobticket u.v.m. )
- 3-jährige Anstellung mit der Möglichkeit einer Verlängerung
- Umfangreiche Rechenressourcen (Zugang zu GPUs)
- Enge internationale Zusammenarbeit mit dem ALMAnaCH-Team von Inria Paris, einschließlich geplanter bilateraler Forschungsaufenthalte und der Teilnahme an gemeinsamen Workshops
- Direkte Betreuung durch führende Forscher aus den Bereichen mechanistische Interpretierbarkeit und mehrsprachige NLP über verschiedene Institutionen hinweg
- Aktive Publikationskultur mit starker Unterstützung für die Veröffentlichung in renommierten Fachzeitschriften
- Ein anspruchsvolles, methodisch fundiertes Forschungsumfeld mit echtem Raum für kritische Diskussion und wissenschaftliche Unabhängigkeit
- Eine unterstützende, respektvolle Laborkultur, die sowohl wissenschaftliche Exzellenz als auch das Wohlbefinden der Mitarbeiter wertschätzt
- Möglichkeit zur Mitbetreuung von Doktoranden und Masterstudenten
- Zugang zu mehrsprachigen Modellen mit offenen Gewichten und einer etablierten Benchmarking-Infrastruktur
Das Deutsche Forschungszentrum für Künstliche Intelligenz GmbH (DFKI) wurde 1988 als gemeinnützige Public-Private-Partnership (PPP) gegründet. Das DFKI verbindet wissenschaftliche Spitzenleistung und wirtschaftsnahe Wertschöpfung mit gesellschaftlicher Wertschätzung. Das DFKI forscht seit über 35 Jahren an KI für den Menschen und orientiert sich an gesellschaftlicher Relevanz und wissenschaftlicher Exzellenz in den entscheidenden zukunftsorientierten Forschungs- und Anwendungsgebieten der Künstlichen Intelligenz. In der internationalen Wissenschaftswelt zählt das DFKI zu den wichtigsten „Centers of Excellence“.
Schwerbehinderte Bewerberinnen und Bewerber und Gleichgestellte werden bei gleicher Eignung besonders berücksichtigt. Das DFKI beabsichtigt, den Anteil von Frauen im Wissenschaftsbereich zu erhöhen und fordert deshalb Frauen ausdrücklich auf, sich zu bewerben.
