Fakultät IV - Elektrotechnik und Informatik, BIFOLD - FG Management von Data Science Prozessen
Das DEEM Lab forscht an der Schnittstelle von Datenengineering und Machine Learning. Unser Ziel ist es, effiziente Datensysteme für KI- und Machine-Learning-Anwendungen zu entwickeln, die einfach zu nutzen sind und gleichzeitig die Grundrechte der Nutzer garantieren (wie z. B. das „Recht auf Vergessenwerden“).
Wir suchen eine studentische Hilfskraft zur Unterstützung bei der Entwicklung eines neuen Benchmarks zur Bewertung von Machine-Learning-Engineering-(MLE)-Agenten mit realistischeren ML-Pipelines. Aktuelle Benchmarks basieren stark auf Aufgaben im Stil von Kaggle, die vermutlich in Trainingsdaten großer Sprachmodelle enthalten sind, was ihre Aussagekraft einschränkt, und zudem oft zu einfach zu lösen sind, was ihre Repräsentativität mindert. Dieses Projekt zielt darauf ab, ein realistischeres Evaluationsframework mit vielfältigen, nicht kontaminierten Aufgaben zu schaffen, die sowohl tabellarische als auch multimodale Daten umfassen und nicht nur die Leistung, sondern auch Qualität, Validität und Neuartigkeit des vom MLE-Agenten erzeugten Codes bewerten.
Unter Anleitung zu erfüllende Aufgaben:
- Sammlung und Aufbereitung von Datensätzen (40 %)
- Entwurf und Implementierung von Evaluationsaufgaben, die Vorhersage, Datenintegration, Fairness und Robustheit abdecken (30 %)
- Bewertung der Leistung von MLE-Agenten und Analyse der Ergebnisse (30 %)
Die studentische Hilfskraft wird als Mitautor:in an den daraus entstehenden wissenschaftlichen Publikationen beteiligt.
Fachlich verantwortlich / Ansprechpartner:in für die Ausschreibung: Prof. Dr. Sebastian Schelter - [email protected]
Besetzungszeitraum: sofort - 2 Jahre
Bewerbung an: [email protected]
Ihre schriftliche Bewerbung mit Anschreiben, Lebenslauf, Immatrikulationsbescheinigung und ggf. aktueller Notenübersicht richten Sie bitte unter Angabe der Kennziffer an die o.g. Beschäftigungsstelle.
Zur Wahrung der Chancengleichheit zwischen Männern und Frauen sind Bewerbungen von Frauen mit der jeweiligen Qualifikation ausdrücklich erwünscht. Schwerbehinderte werden bei gleicher Eignung bevorzugt.
