Viele Sensoren, ein digitaler Zwilling: Wie geht das?

Frau Strand, im Rahmen des Forschungsprojektes ist ein Sensornetzwerk aus Flächenkameras, Radaren und Lidaren im Einsatz. Wieso sind so viele unterschiedliche Sensoren notwendig?

Jeder Sensor hat seinen originären „Field of View“, schaut also in seinem Winkel auf das Geschehen. In einem Multi-Sensor-Setup, in dem viele Sensoren eingebunden sind, besteht die Möglichkeit, diese Sicht beliebig zu erweitern und zudem die individuellen Stärken der Sensoren auszuspielen. Eine Kamera ist lichtabhängig, kann also ausschließlich am Tag eingesetzt werden, ein Radar hingegen liefert auch nachts gute Daten und misst zudem die Geschwindigkeiten der Fahrzeuge sehr präzise. Der Lidar hat seine Stärken in der 3D-Detektion von Objekten, so dass sich im Nahbereich etwa Fußgänger oder Radfahrer in drei Dimensionen gut detektieren lassen.

Die Sensoren haben unterschiedliche Funktionsweisen. Ein Radar arbeitet mit Radarwellen, ein Lidar mit Laserstrahlen, während Videokameras Licht „einfangen“. Wie lassen sich die Daten zu einem einzigen Abbild des Verkehrs, einem digitalen Zwilling, zusammenbringen?

Grundsätzlich gibt es zwei Möglichkeiten – die Low- und die High-Level-Fusion. In der Low-Level-Fusion werden die Rohdaten der einzelnen Sensoren miteinander fusioniert. Der Vorteil ist, dass das Maximum an Informationen aus den Rohdaten genutzt wird. Doch sind die Fusionsalgorithmen mit Rohdaten wenig adaptiv für neue Sensoren, Szenen etc. Das verkompliziert die Entwicklung. Deshalb setzen wir auf die High-Level-Fusion, bei der sensorspezifische Auswertungen gekapselt werden. Wir werten die Rohdaten der Sensoren zunächst unabhängig voneinander aus – bei einer Flächenkamera eine zweidimensionale Pixelmatrix, die Farb- und Lichtintensitäten enthält, oder beim Lidar eine dreidimensionale Punktewolke. Schließlich erhalten wir abstrahierte Objektdetektionen. Vorteil: Diese Detektionen sind unabhängig vom Messprinzip der Sensoren. Erst nachdem ein Objekt mithilfe eines sensorspezifischen Detektionsalgorithmus detektiert und klassifiziert wurde – bei den Kamerabildern geschieht dies beispielweise mit Hilfe eines neuronalen Netzes, das auf der YOLOV4 Architektur basiert –, beginnt die eigentliche Fusion der Daten.

Sie bringen die Daten also in eine gemeinsame Form, auf deren Basis Sie weiter arbeiten können …

Ja, wir haben sozusagen Auswertungspipelines für die einzelnen Sensoren geschaffen. Die daraus erzeugten Objekte können jedoch fehlerhaft sein und unterliegen auch gewissen Messungenauigkeiten. Über einen Bayesschen Zustandsschätzer (auch Filter genannt) können Ungenauigkeiten ausgeglichen werden. Hierbei werden die Messungen mit einem Bewegungsmodell verglichen, ehe daraus berechnet wird, wie wahrscheinlich es ist, dass sich das Objekt an einer bestimmten Stelle befindet. Die Bewegung eines Fahrzeugs ist ja durch physikalische Gesetze bestimmt, kann also über solche dynamischen Bewegungsmodelle beschrieben werden. Messungen werden nur dann als realistisch und gültig anerkannt, wenn sie auch eine real mögliche Bewegung beschreiben. Damit dieses Verfahren gut funktioniert und das System gut mit den Messungenauigkeiten umgehen kann, ist die Parametrisierung dieses Zustandsschätzers entscheidend, was jedoch eine Menge Systemwissen und Erfahrung erfordert. Dieser Filter liefert letztlich eine Wahrscheinlichkeitsverteilung, die widerspiegelt, wo sich die Objekte basierend auf den Daten des jeweiligen Sensors am wahrscheinlichsten befinden. Diese Wahrscheinlichkeitsverteilungen, welche das Ergebnis am Ende jeder Sensorpipeline ist, lassen sich dann miteinander fusionieren, um ein konsistentes Ergebnis zu erhalten – den digitalen Zwilling. Unsicherheiten und Ungenauigkeiten reduzieren sich immer weiter, je mehr unabhängige Quellen, in unserem Fall die Sensoren, das gleiche Ergebnis bestätigen. Im Livestream etwa auf unserer Webseite Innovation-Mobility ist zu sehen, dass die Detektion der Fahrzeuge bereits sehr präzise ist.

Die Bauarbeiten zur Erweiterung der Teststrecke sind im Gange. 50 neue Sensoren – darunter erstmals Lidare – sollen an neuen Sensormasten und Schilderbrücken angebracht werden. Lässt sich das Sensornetzwerk dann per Knopfdruck einfach hochskalieren und ein einziger digitaler Zwilling daraus schaffen?

Wir bereiten uns gerade darauf vor, das System für quasi unendlich viele Messpunkte skalierbar zu machen. Im ersten Schritt passen wir gerade die Systemarchitektur und Algorithmen an. Dabei werden wir anders vorgehen als bisher. Bis jetzt haben wir die Daten für das gesamte Testfeld im Backend zu einem globalen digitalen Zwilling fusioniert. Für die gesamte Strecke von der Autobahn A9 hinein nach Garching-Hochbrück wird eine zentrale Fusion allerdings zu komplex und ist hinsichtlich der Rechenleistung und Netzwerkansprüche nicht skalierbar. Es wird also künftig keinen digitalen Zwilling der gesamten Teststrecke mehr geben, sondern eine Reihe von lokalen digitalen Zwillingen in relevanten Bereichen. Auswertungen werden nicht mehr über einen Zentralknoten laufen, sondern dezentral. Eine weitere Herausforderung besteht darin, Lidare zu integrieren, denn wir setzen sie nun erstmals ein. Wichtig ist, aus den Punktewolken „schlau“ zu werden und die 3D-Objektdetektion einwandfrei zum Laufen zu bringen, was allerdings noch einige Herausforderungen für uns mit sich bringen wird. Sobald die sensorspezifische Detektionspipeline für den Lidar läuft, sollte unseren lokalen digitalen Zwillingen gerade aufgrund der High-Level-Fusionsarchitektur nichts mehr im Wege stehen.

Erfahren Sie mehr über die Multi-Sensor-Fusion

• High-Level Sensor Data Fusion Architectur for Vehicle Surround Environment Perception
• Multisensor data fusion: A review of the state-of-the-art

• A brief survey of advances in random-set fusion

  Hinweis: Die Publikation ist interessant, da im Providentia++-System auch die Algorithmen basierend auf der Random Finite Set (RFS) Theorie eingesetzt werden.

• Multi-Sensor Fusion in automated driving