CARLA: Was der meistgenutzte Fahrsimulator kann
Seit kurzem ist der Fahrsimulator CARLA im Forschungsprojekt Providentia++ im Einsatz. Er ermöglicht, Unfälle zu analysieren und Szenarien auf der erweiterten Teststrecke durchzuspielen. Fragen an den Experten für 3-D-Objektdetektion Walter Zimmer von der TU München.
Herr Zimmer, Sie beschäftigen im Projekt Providentia++ mit CARLA, einem Fahrsimulator. Wofür ist er da?
CARLA ist ein Fahrsimulator, der eingesetzt wird, um Situationen im Verkehr zu simulieren, also Bewegungen im Verkehr besser zu verstehen. In Providentia++ nutzen wir CARLA, um Simulationen auf unserer Testrecke zu machen. Wir können dort etwa virtuell Fahrzeuge in der Umgebung fahren lassen und ihnen bestimmte Eigenschaften zuweisen – deren Geschwindigkeit variieren, die Dichte des Verkehrs festlegen oder die Wetterbedingungen. Sehr viele Szenarien können wir im „Szenario Runner“ nachbilden und dreidimensional betrachten. Man schwebt quasi über der Teststrecke und kann sich den Verkehr aus jedem Blickwinkel anschauen. Es ist zudem möglich, Sensoren wie RGB-Kameras, Radare, Lidare oder Event-basierte Kameras virtuell anzubringen und sie für Analysen des Verkehrs zu nutzen.
Inwiefern profitiert der Autofahrer von CARLA?
In Providentia++ bilden wir einerseits den Live-Verkehr über CARLA ab, andererseits ist es möglich, reale Manöver zu variieren. Wir simulieren also die Bedingungen im Verkehr und finden so heraus, wie gefährliche Situationen hätten vermieden werden können. Kürzlich ereignete sich ein Auffahrunfall auf der Autobahn A9. Der Grund war ein weißer Lieferwagen, der auf der Überholspur liegenblieb. Noch dazu überholte ein Sportwagen innen und scherte dann wieder auf die Überholspur, bevor es zum Unfall kam. Diesen Unfall haben wir in CARLA abgebildet und unter leicht veränderten Bedingungen noch einmal durchgespielt. Was wäre gewesen, wenn der Verkehr insgesamt zehn km/h langsamer gefahren wäre, wenn er nicht ganz so dicht gewesen wäre? Wäre es auch dann zu einem so schweren Unfall gekommen? Diese Szenarien können wir als Trainingsdaten für unsere Systeme verwenden, so dass Fahrzeuge künftig rechtzeitig gewarnt werden können, wenn sich ähnliche Situationen anbahnen.
CARLA ist ein Open-Source-Produkt. Welche Vorteile ergeben sich dadurch?
Die Software ist frei verfügbar. Es arbeiten also sehr viele Entwickler parallel an der Software, so dass sie sich sehr schnell verbessert und neue Funktionen ermöglicht. In der Community kann man seine Fragen diskutieren. Es entstehen ständig neue Plug-Ins. Kein Wunder, dass CARLA inzwischen wohl der am meisten genutzte Fahrsimulator in der Autoindustrie ist (auch wenn die Software erst vier Jahre alt ist). Mit dem AutoWare-Plug-In beispielsweise ist es möglich, in einem Fahrzeug virtuell eine Teststrecke zu durchfahren. Es hat zudem eine Schnittstelle zu allen Sensoren im Fahrzeug und an Sensorstationen zur Verfügung. Hier lässt sich im übrigen auch gut der Vorteil von externen Infrastrukturen gegenüber der reinen Fahrzeugsicht verdeutlichen. Mit einem anderen Plug-In können wir CARLA in den Webbrowser bringen. Dafür nutzt man eine Game Engine (Unreal Engine 4) und eine gute Grafikkarte: Dann kann man prinzipiell jedem Zugriff auf CARLA geben, der einen Internetanschluss hat. Man kann sich den Live-Verkehr von allen Richtungen ansehen, sich die Historie anschauen, spezielle Manöver suchen und anschauen.
Welche Herausforderungen sind noch zu bewältigen?
Unsere Trainingsdaten sind noch nicht gut genug. Deshalb kann es passieren, dass Fahrzeuge auf dem Bildschirm nicht dargestellt sind, obwohl sie existieren. Das ist aber kein Wunder: Denn wir haben mit dem Einsatz der Lidare gerade erst begonnen und sind gerade noch dabei, unseren eigenen Datensatz zu labeln. Die Anzahl der bereits annotierten Kamerabilder und LiDAR-Punktwolken reicht aktuell für das Training der Daten nicht aus, deswegen wollen wir dieses Labeling nun automatisieren. Die meisten anderen Trainingsdatensätze (wie beispielsweise MS COCO) basieren auf der Sicht aus dem Fahrzeug und nicht von oben (aus Perspektive der Infrastruktur). Das ist für uns nicht optimal. Generell haben Lidare im Vergleich zum Radar eine viel höhere Auflösung und können im Gegensatz zu Flächenkameras die Tiefe gut extrahieren, bilden also die dritte Dimension besser ab. Das hilft uns in der Darstellung in unserem Fahrsimulator.
Was ist nötig, um den realen Verkehr in CARLA darstellen zu können?
Wir müssen zuerst die Fahrzeuge detektieren und klassifizieren, also die Position und Fahrzeugklasse bestimmen. Danach werden sie von Kamera zu Kamera richtig zugeordnet und zuletzt die Daten miteinander fusioniert. Dieses Fusionsergebnis nutzen wir für CARLA. Aktuell lassen sich dort Pkws, Lkws, Busse und Motorräder voneinander unterscheiden. Etwas differenzierter wird es, wenn wir mit 3-D-Modellen arbeiten und nicht in zwei Dimensionen wie bisher. Das ist uns nun mit den neuen Lidar-Sensoren auf dem Testfeld möglich. Unsere neuen Lidare liefern bereits Daten, die wir aufzeichnen, visualisieren und im Web-Browser anzeigen können. Allerdings mangelt es derzeit noch etwas an der Stabilität. Der lokale Zwilling an den neuen Sensorstationen wird der nächste Schritt sein. Daran arbeiten wir gerade.
Video 1: Real-Verkehr und CARLA-Live-Verkehr
Video 2: Simulation auf Basis der HD-Karte von 3D Mapping Solution
WEITERE AKTUELLE THEMEN
Cognition Factory: Kameradaten auswerten und visualisieren
Seit Beginn der Forschungen in Providentia++ am digitalen Zwilling ist KI-Spezialist Cognition Factory GmbH auf die Verarbeitung von Kameradaten fokussiert. Geschäftsführer Dr. Claus Lenz mit seinem Resümee.
Digitaler Echtzeitzwilling des Verkehrs: Serienreif und rund um die Uhr einsetzbar
Konsortialführer TU München hat das Forschungsprojekt für automatisiertes und autonomes Fahren Providentia++ entscheidend vorangebracht. TUM-Projektleiter Venkatnarayanan Lakshminarashiman zieht Bilanz.
Elektrobit: Test Lab auf stationäre Daten münzen
Elektrobit legt nicht zuletzt durch die Fortschritte in Providentia++ die Basis für Big-Data-Auswertungen von Verkehrsdaten. Simon Tiedemann von Elektrobit über die Entwicklungen im Rahmen von P++.