25. August 2021 - Providentia Editors

CARLA: What the most used driving simulator is capable of

Recently, the CARLA driving simulator has been in use in the Providentia++ research project. It allows accidents to be analyzed and scenarios to be run on the extended testfield. Questions to the expert for 3-D object detection Walter Zimmer from the TU Munich.

Herr Zimmer, Sie beschäftigen im Projekt Providentia++ mit CARLA, einem Fahrsimulator. Wofür ist er da?

CARLA ist ein Fahrsimulator, der eingesetzt wird, um Situationen im Verkehr zu simulieren, also Bewegungen im Verkehr besser zu verstehen. In Providentia++ nutzen wir CARLA, um Simulationen auf unserer Testrecke zu machen. Wir können dort etwa virtuell Fahrzeuge in der Umgebung fahren lassen und ihnen bestimmte Eigenschaften zuweisen – deren Geschwindigkeit variieren, die Dichte des Verkehrs festlegen oder die Wetterbedingungen. Sehr viele Szenarien können wir im „Szenario Runner“ nachbilden und dreidimensional betrachten. Man schwebt quasi über der Teststrecke und kann sich den Verkehr aus jedem Blickwinkel anschauen. Es ist zudem möglich, Sensoren wie RGB-Kameras, Radare, Lidare oder Event-basierte Kameras virtuell anzubringen und sie für Analysen des Verkehrs zu nutzen.

Inwiefern profitiert der Autofahrer von CARLA?

In Providentia++ bilden wir einerseits den Live-Verkehr über CARLA ab, andererseits ist es möglich, reale Manöver zu variieren. Wir simulieren also die Bedingungen im Verkehr und finden so heraus, wie gefährliche Situationen hätten vermieden werden können. Kürzlich ereignete sich ein Auffahrunfall auf der Autobahn A9. Der Grund war ein weißer Lieferwagen, der auf der Überholspur liegenblieb. Noch dazu überholte ein Sportwagen innen und scherte dann wieder auf die Überholspur, bevor es zum Unfall kam. Diesen Unfall haben wir in CARLA abgebildet und unter leicht veränderten Bedingungen noch einmal durchgespielt. Was wäre gewesen, wenn der Verkehr insgesamt zehn km/h langsamer gefahren wäre, wenn er nicht ganz so dicht gewesen wäre? Wäre es auch dann zu einem so schweren Unfall gekommen? Diese Szenarien können wir als Trainingsdaten für unsere Systeme verwenden, so dass Fahrzeuge künftig rechtzeitig gewarnt werden können, wenn sich ähnliche Situationen anbahnen.

CARLA ist ein Open-Source-Produkt. Welche Vorteile ergeben sich dadurch?

Die Software ist frei verfügbar. Es arbeiten also sehr viele Entwickler parallel an der Software, so dass sie sich sehr schnell verbessert und neue Funktionen ermöglicht. In der Community kann man seine Fragen diskutieren. Es entstehen ständig neue Plug-Ins. Kein Wunder, dass CARLA inzwischen wohl der am meisten genutzte Fahrsimulator in der Autoindustrie ist (auch wenn die Software erst vier Jahre alt ist). Mit dem AutoWare-Plug-In beispielsweise ist es möglich, in einem Fahrzeug virtuell eine Teststrecke zu durchfahren. Es hat zudem eine Schnittstelle zu allen Sensoren im Fahrzeug und an Sensorstationen zur Verfügung. Hier lässt sich im übrigen auch gut der Vorteil von externen Infrastrukturen gegenüber der reinen Fahrzeugsicht verdeutlichen. Mit einem anderen Plug-In können wir CARLA in den Webbrowser bringen. Dafür nutzt man eine Game Engine (Unreal Engine 4) und eine gute Grafikkarte: Dann kann man prinzipiell jedem Zugriff auf CARLA geben, der einen Internetanschluss hat. Man kann sich den Live-Verkehr von allen Richtungen ansehen, sich die Historie anschauen, spezielle Manöver suchen und anschauen.

Welche Herausforderungen sind noch zu bewältigen?

Unsere Trainingsdaten sind noch nicht gut genug. Deshalb kann es passieren, dass Fahrzeuge auf dem Bildschirm nicht dargestellt sind, obwohl sie existieren.  Das ist aber kein Wunder: Denn wir haben mit dem Einsatz der Lidare gerade erst begonnen und sind gerade noch dabei, unseren eigenen Datensatz zu labeln. Die Anzahl der bereits annotierten Kamerabilder und LiDAR-Punktwolken reicht aktuell für das Training der Daten nicht aus, deswegen wollen wir dieses Labeling nun automatisieren. Die meisten anderen Trainingsdatensätze (wie beispielsweise MS COCO) basieren auf der Sicht aus dem Fahrzeug und nicht von oben (aus Perspektive der Infrastruktur). Das ist für uns nicht optimal. Generell haben Lidare im Vergleich zum Radar eine viel höhere Auflösung und können im Gegensatz zu Flächenkameras die Tiefe gut extrahieren, bilden also die dritte Dimension besser ab. Das hilft uns in der Darstellung in unserem Fahrsimulator.

Was ist nötig, um den realen Verkehr in CARLA darstellen zu können?

Wir müssen zuerst die Fahrzeuge detektieren und klassifizieren, also die Position und Fahrzeugklasse bestimmen. Danach werden sie von Kamera zu Kamera richtig zugeordnet und zuletzt die Daten miteinander fusioniert. Dieses Fusionsergebnis nutzen wir für CARLA. Aktuell lassen sich dort Pkws, Lkws, Busse und Motorräder voneinander unterscheiden. Etwas differenzierter wird es, wenn wir mit 3-D-Modellen arbeiten und nicht in zwei Dimensionen wie bisher. Das ist uns nun mit den neuen Lidar-Sensoren auf dem Testfeld möglich. Unsere neuen Lidare liefern bereits Daten, die wir aufzeichnen, visualisieren und im Web-Browser anzeigen können. Allerdings mangelt es derzeit noch etwas an der Stabilität. Der lokale Zwilling an den neuen Sensorstationen wird der nächste Schritt sein. Daran arbeiten wir gerade.

Mehr Informationen über CARLA

Video 1: Real traffic and CARLA live traffic

Video 2: Simulation based on HD map from 3D Mapping Solution

WEITERE AKTUELLE THEMEN

1. July 2022

Cognition Factory: Evaluate and visualize camera data

Since the beginning of research on the digital twin, AI specialist Cognition Factory GmbH has focused on processing camera data. In the meantime Dr. Claus Lenz has deployed a large-scale platform

MORE >

1. July 2022

Digital real-time twin of traffic: ready for series production

Expand the test track, deploy new sensors, decentralize software architecture, fuse sensor data for 24/7 operation of a real-time digital twin, and make data packets public: TU Munich has decisively advanced the Providentia++ research project.

MORE >

11. May 2022

Elektrobit: Coining Test Lab to stationary data

Elektrobit lays the foundation for Big Data evaluations of traffic data. Simon Tiedemann on the developments in P++.

MORE >