Kamerabasierte Drohnendetektionssysteme lokalisieren potenzielle Drohnen im Bild mithilfe von Bounding Boxes und weisen jeder Detektion einen Konfidenzwert zu. Für eine sicherheitsrelevante Bewertung in urbanen Überwachungsszenarien reichen diese Informationen jedoch häufig nicht aus. Entscheidend sind zusätzlich semantische Merkmale wie Bauform, visuelle Eigenschaften und insbesondere mögliche Nutzlasten, da diese wesentlich zur Einschätzung des Gefährdungspotenzials beitragen können.
Vision-Language-Modelle (VLMs) bieten die Möglichkeit, visuelle Drohnendetektionen um semantische Informationen zu ergänzen. Durch die Verknüpfung visueller Merkmale mit sprachlichen Konzepten können sie beispielsweise Aussagen zu Bauform, Ausstattung und potenziellen Nutzlasten ableiten. In Kombination mit einem echtzeitfähigen Detektor entsteht eine zweistufige Verarbeitungskette, in der zunächst relevante Bildregionen lokalisiert und anschließend durch ein VLM analysiert werden. Dadurch entwickelt sich die reine Lokalisierung zu einer semantisch angereicherten Analyse, die als Grundlage für ein operativ verwertbares Lagebild dienen kann.
Das erwartet dich
Du bearbeitest eine aktuelle Forschungsfrage an der Schnittstelle von Objektdetektion, multimodalem Deep Learning und sicherheitskritischen Anwendungen. Im Mittelpunkt steht hierbei die folgende Forschungsfrage:
In welchem Umfang können VLMs die Ergebnisse einer vorgelagerten Drohnendetektion um sicherheitsrelevante semantische Informationen, insbesondere zu potenziellen Nutzlasten und weiteren visuellen Merkmalen, erweitern, und mit welcher Zuverlässigkeit und Recheneffizienz ist dies unter realitätsnahen Einsatzbedingungen möglich?
Deine Aufgaben
- Einarbeitung in den Stand der Technik zu VLMs, Open-Vocabulary-Ansätzen, kamerabasierter Drohnendetektion und klassischer Payload-Erkennung
- Auswahl und Untersuchung geeigneter VLMs zur semantischen Analyse detektierter Drohnen, insbesondere im Hinblick auf ihr Zero-Shot-Potenzial
- Entwicklung und Untersuchung geeigneter Prompting- und Inferenzstrategien für die zuverlässige Extraktion semantischer Merkmale
Systematische Evaluation hinsichtlich Erkennungsleistung, semantischer Konsistenz, Robustheit gegenüber Fehlbeschreibungen und Halluzinationen sowie Latenz und Rechenaufwand
- Gegenüberstellung ausgewählter VLMs mit klassischen, domänenspezifisch trainierten Verfahren zur Payload-Erkennung
- Kritische Analyse und Einordnung der Ergebnisse im Hinblick auf die operative Verwertbarkeit im Überwachungskontext
Dokumentation von Methodik und Ergebnissen in einer schriftlichen Ausarbeitung
-
Das bringst du mit
- Laufendes Masterstudium in Informatik, Mathematik, Optotechnik oder einem vergleichbaren Studiengang
- Gute Programmierkenntnisse in Python sowie praktische Erfahrung mit Deep-Learning-Frameworks (idealerweise PyTorch)
- Grundlegendes Verständnis von Computer Vision und Deep Learning. Interesse an multimodalen Modellen (insbesondere VLMs) von Vorteil
- Selbstständige und strukturierte Arbeitsweise
