forschung

Driver Monitoring

Ziel des interdisziplinären Forschungsprojektes PRORETA 4 ist die Entwicklung intelligenter lernender Fahrerassistenzsysteme, um die Fahrsicherheit und den Fahrkomfort weiter zu erhöhen. Unter dem Motto „Safety by Learning“ wird an der Nutzbarkeit maschineller Lernverfahren im Fahrzeug zur Anpassung an Fahrer und Umwelt geforscht. Die Forschungsergebnisse aus Umfeld- und Fahrermodellierung tragen dazu bei, die Zusammenhänge zwischen Fahrerverhalten, Fahrzeugbedienung und Umwelt besser zu verstehen.

In diesem Rahmen liegen meine Forschungsschwerpunkte auf dem „Driver Monitoring“, also der Beobachtung des Fahrers durch verschiedene, hauptsächlich bildgebende Sensoren (IR-Kameras, 3D-Tof-Tiefenbildkamera). Mittels Methoden aus den Bereichen Computer Vision sowie des maschinellen Lernens sollen Merkmale generiert werden um eine fahrerspezifische Adaption von Assistenzsystemen zu ermöglichen. Die Beobachtung des Fahrers, seiner Bewegungen und seines Verhaltens sowie die Bestimmung seines Zustandes spielen hier eine entscheidende Rolle.

Wahrnehmung und Blickstrategien

oben: Darstellung des Ego-Fahrzeugs mit Fahrerblick sowie Verkehrsteilnehmer. In Farbe ist die 3D-Punktewolke aus der Stereokamera dargestellt. Unten links: Darstellung der Blickrichtung und des fiierten Punkts aus der Vogelperspektive. Unten rechts:Projektion des anvisierten Punkts in das Bild der Fahrzeugkamera.
oben: Darstellung des Ego-Fahrzeugs mit Fahrerblick sowie Verkehrsteilnehmer. In Farbe ist die 3D-Punktewolke aus der Stereokamera dargestellt. Unten links: Darstellung der Blickrichtung und des fiierten Punkts aus der Vogelperspektive. Unten rechts:Projektion des anvisierten Punkts in das Bild der Fahrzeugkamera.

In unserem Versuchsfahrzeug werden durch mehrere Kameras die Fahrerblickrichtung und Kopforientierung in Echtzeit geschätzt. Da alle Sensoren des Fahrzeugs miteinander kalibriert sind, lässt dies die Darstellung der Informationen in verschiedenen Koordinatensystemen zu. So lässt sich schnell bestimmen, wohin der Fahrer in seiner Umgebung schaut.

Dies ermöglicht die Analyse individueller Blickmuster während der Fahrt in spezifischen Situationen. Auch die Schätzung einer objektspezifischen Wahrnehmung kann so modelliert werden. Das Wissen, welche Verkehrsteilnehmer der Fahrer wahrgenommen hat, kann beispielsweise dazu genutzt werden, den Fahrer in einem Übergabeszenario nur auf die zusätzlich relevanten Teilnehmer hinzuweisen.

Unterstützt wird die Forschung durch die Continental Teves AG & Co.oHG sowie die Continental Automotive GmbH

zurück zur Übersicht der Forschungsthemen am Fachgebiet