Konsortialtreffen Providentia++: Neue Sensorstationen starten Anfang 2021

Fünf neue Sensorstationen sind bereits geplant. Über 50 neue Kameras, Radare und Lidare werden ab dem Frühjahr 2021 zum Einsatz kommen. Auf dem ersten Konsortialtreffen von Providentia++ (P++) wird klar: Der digitale Zwilling in Echtzeit wird immer robuster und präziser und legt damit die Basis für das Hauptziel des vernetzten Verkehrs – mehr Sicherheit.

KOMPAKT

• Die Teststrecke wird im Frühjahr 2021 um 5 Sensorstationen erweitert.
• Die Nachrichtenrate hat sich in 2020 fast verdoppelt und der Live-Verkehr wird im Virtualisierungstool CARLA visualisiert.
• Fehler einzelner Sensoren werden im Gesamtsystem kompensiert.
• Die Datenbasis zum Trainieren neuronaler Netze wird erweitert.
• Fahrzeuge lassen sich künftig trotz zeitweiser Verdeckungen zuverlässig wiedererkennen.
• Fahrmanöver lassen sich mithilfe eines Datenpools klassifizieren und analysieren.
• Die Objektdetektion und -klassifizierung wird auf Fußgänger und Radfahrer erweitert und entsprechende Software über Module skalierbar.

Die zwei Sensorstationen an der Autobahn A9 in Garching werden Zuwachs bekommen: Ab Frühjahr kommenden Jahres werden voraussichtlich fünf weitere hinzukommen, bestückt mit mehr als 50 neuen Flächenkameras, Radaren und Lidaren und die Testrecke um 2,5 Kilometer auf dann 3,5 Kilometer erweitert. Erstmals vorgesehen: Lidare, 360-Grad- sowie Event-based-Kameras. Allein am interessantesten Messpunkt des Projektes, der Kreuzung Schleißheimer Straße/Zeppelinstraße in Garching-Hochbrück, von den Wissenschaftlern „S110“ genannt, sollen nach aktuellem Stand mehr als 15 neue Sensoren angebracht werden. Sämtliche oben genannten Kameratypen werden dort zum Einsatz kommen, um die Komplexität der städtischen Kreuzung durch Fußgänger, Radfahrer und neue Bewegungsszenarien erfassen zu können. „Die Vermessungen haben begonnen, erste Bodenproben sind gemacht und die Baufirmen starten im Januar“, sagt Christian Creß, Wissenschaftler der TU München (TUM), der mit ersten Messungen ab März des kommenden Jahres rechnet.

TU München: Providentia++-Testrecke wird um zwei Kilometer erweitert, mehr als 50 neue Flächenkameras, Radare und Lidare kommen zum Einsatz

Was Creß auf dem ersten (virtuellen) Konsortialtreffen des Forschungsprojektes Providentia++ Anfang Dezember vorstellt, freut vor allem die Industrie- und Forschungspartner im Projekt. Schon im Laufe des Jahres hat das TUM-Team den Nachtbetrieb mit Radaren auf der A9 realisiert, den Live-Verkehr im Virtualisierungstool CARLA in Echtzeit visualisiert, die Nachrichtenrate (mit 25 Hertz) fast verdoppelt und Datenschnittstelle im 24/7-Dauerbetrieb zur Verfügung gestellt. Durch den sukzessiven Ausbau der Teststrecke, der im Frühjahr 2021 beginnt, ist nun die erste Datenerfassung im städtischen Umfeld in Reichweite.

Intel: Providentia++-Infrastruktur in RSS-Konzept von Mobileye einbinden

Für Ralf Gräfe von Technologiekonzern Intel bedeutet der Fortschritt im Projekt, dass er nun zum ersten Mal im Rahmen von Providentia++ Livedaten von Event-based Kameras bekommt und in CARLA simulierte Manöver künftig auf Basis realer Daten berechnen und prognostizieren kann. Gräfes Hauptanliegen liegen in der Sicherheit und Zuverlässigkeit des Systems für den digitalen Zwilling. „Auch wenn gelegentlich Fehler auftreten, soll der digitale Zwilling insgesamt sicher arbeiten“, sagt der Program Manager bei Intel Labs Europe, der von der „Fehlertoleranz der multimodalen Perzeption“ spricht. Fallen einzelne Sensoren aus, soll der digitale Zwilling trotzdem solide Informationen liefern. Zudem besteht eine Herausforderung darin, beispielsweise Kameras und Lidare zu „mergen“, also Bildinformationen der Flächenkameras und Punktewolken der Lidare zu einer aggregierten, plausiblen Information zu verschmelzen. Um die externe Infrastruktur für Manöverstrategien einsetzen zu können, setzt Intel auf dem RSS (Responsibility-Sensitive-Safety)-Konzept des Tochterunternehmens Mobileye auf: Schon heute beobachten Fahrzeuge mithilfe der Technologie die Umgebung, erkennen sie und leiten Reaktionen daraus ab, halten etwa einen Sicherheitsabstand zum Vordermann. Mit der P++-Infrastruktur lassen sich mehrere Fahrzeuge gleichzeitig beobachten und parallel Manöverstrategien von der Infrastruktur an die Fahrzeuge zurückgeben. „Die auf der P++-Infrastruktur basierenden Erweiterungen von RSS gehen künftig in CARLA ein und stehen als Open Source zur Verfügung“, erläutert Gräfe, der sich besonders für den „unstrukturierteren“ Stadtverkehr neue Erkenntnisse verspricht.

Valeo: Umfeldmodell optimieren, um Fahrsituationen präzise zu bewerten

Auch die Forschungen des P++-Partners Valeo sollen letzten Endes dazu dienen, „Verkehrssituationen zu bewerten und komfortable Reaktionen der Fahrzeuge zu steuern“, erläutert Dr. Jens Honer. Doch zunächst will sich der Perzeptions-, Tracking- und Datenfusionsexperte bei Valeo darauf konzentrieren, das Umfeldmodell, die Fahrzeugglobalsteuerung und die Systemintegration weiter zu verbessern. Bei der Optimierung des Umfeldmodells geht es zum Beispiel um das Verschmelzen der Lidarpunkte mit den Daten der Fischaugenkameras und der hochauflösenden Karten (demnächst auch von P++-Partner 3D Mapping). Voraussetzung für die Fahrzeugglobalsteuerung ist die Bewertung der jeweiligen Fahrsituation. Dafür hat Valeo bereits einen Referenzalgorithmus zum „Augmentieren“ der P++-Daten implementiert, der damit die Datenbasis zum Trainieren eines neuronalen Netzwerks „deutlich erweitert“, so Honer. Zudem sind die Testfahrzeuge von Valeo auf der Testrecke unterwegs, etwa „Reco01“. Dieses Fahrzeug ist mit 47 Sensoren bestückt und in der Lage, „seine Sensoren und das P++-System mittels eines dezidierten Zeit-Servers auf die GPS-Zeit zu synchronisieren“, erläutert Honer. 2021 geht es dem Valeo-Experten um dreierlei: I. Ein robustes Fusionssystem, um etwa die Daten der Kameras und Lidare ideal auszunutzen. II. Ein System zur Interpretation und Bewertung von Verkehrssituationen mit lernfähigen Algorithmen, um sichere und komfortable Reaktionen der Fahrzeuge steuern zu können. III. Eine solide Datenbasis in Kombination mit einer Auswertungsalgorithmik, welche eine objektive Bewertung der Systemperformance erlaubt.

fortiss: Den digitalen Zwilling noch zuverlässiger machen

Diese Entwicklungen gehen Hand in Hand mit den Forschungen anderer Partner, etwa mit fortiss, dessen Kernziel es ist, den digitalen Zwilling so robust wie möglich zu machen – also fähig, auch bei schlechten Sichtverhältnissen (z.B. nachts) oder anspruchsvollen Verkehrssituationen gute Ergebnisse und Vorhersagen zu ermöglichen. Hier stehen aktuell drei Themen besonders im Vordergrund: die Fusion der Daten einschließlich Tracking, die Bewegungsvorhersage sowie die Entwicklung einer Echtzeitplattform. Um die aktuelle Leistung des Systems zur Erfassung der Fahrzeuge auf der Straße zu bestimmen, ergänzte das DLR das Forschungsinstitut aus der Luft (siehe auch: Vogelperspektive: Mehr Präzision für den digitalen Zwilling). Das Ziel: Eine „Ground Truth“ zu ermitteln, die als Basis für alle weiteren Entwicklungen dient. Eine auf diesen Daten basierende Evaluation hat gezeigt, dass das Providentia++-System sehr genau ist und Fahrzeuge zuverlässig erkennt. Diese Leistung soll nun auch auf komplexere Verkehrsszenarien übertragen werden. Besonders bei hoher Fahrzeugdichte soll eine aktive „Verdeckungshandhabung“ es ermöglichen, Fahrzeuge trotz kurzzeitiger Verdeckungen weiter zu verfolgen. Zudem soll eine auf neuronalen Netzen basierende Bewegungsprädiktion wird in der Lage sein, künftig Trajektorien mit der höchsten Wahrscheinlichkeit zu ermitteln. Um im Falle eines Ausfalls von Hardware handeln zu können, setzt fortiss auf eine Echtzeitplattform. Deren Aufgabe: Anwendungen, die aufgrund eines Hardwareproblems ausfallen, werden über eine „Anwendungsmigration“ auf andere Hardware verlagert. 2021 wird fortiss diese Ansätze weiter perfektionieren, das Testfahrzeug fortuna und das Providentia++-System weiter algorithmisch verbessern und einen Demonstrator für Echtzeitanwendungen bauen.

Elektrobit: Stationäre Daten nutzbar machen

Über 700 Stunden Daten von den beiden bisher verfügbaren Sensorstationen auf der Autobahn A9 hat Elektrobit in seinem EB Assist Test Lab bereits gespeichert. Der in der Microsoft Cloud Azure angelegte Datenpool ermöglicht es Partnern von Providentia++, stationäre Daten zu nutzen. Elektrobit nimmt die Daten über die Internet-Schnittstelle von Providentia++ entgegen, extrahiert Metainformationen, analysiert sie im 24/7-Betrieb, speichert und prozessiert sie in Echtzeit. Nach einer Voranalyse der 10-Minuten-Sequenzen stellt sich heraus, welche Daten interessant und nicht so interessant sind. „Hot-Storage-Daten“ fließen in die Szenen-Datenbank (siehe auch Per Test Lab Forschungsdaten verfügbar machen). Besonders interessant für Simon Tiedemann von Elektrobit: Die Klassifizierung von Fahrmanövern. So ist beispielsweise interessant, Situation zu finden, bei denen zwei Fahrzeuge dicht aufeinander auffahren, ausscheren oder überholen und diese Ereignisse in Bezug zu Wetter und Tageszeit zu setzen. „Mit den fünf neuen Sensorstationen werden wir wertvolle neue Daten in unserem Datenpool verfügbar machen“, freut sich der Produktmanager des Test Labs Tiedemann.

Cognition Factory: Software für die Detektion und Klassifizierung von Verkehrsteilnehmern nun modularisiert

Gerade in der Erweiterung der Testrecke sieht auch Claus Lenz von Cognition Factory neue Anforderungen. Kernaufgabe seines Unternehmens ist, in Echtzeit Objekte zu detektieren und zu klassifizieren. Kommen im Frühjahr zu den zwei Sensorstationen fünf weitere hinzu, heißt das auch, dass viele neue Kameras, Lidare und Radare zum Einsatz kommen. Die bestehende Software muss also entsprechend skalierbar sein. Deswegen setzt Lenz auf Modularisierung: „Wir haben ein Software-Managementsystem aufgebaut, das erweiterbar ist. Wir nutzen Software-Container als gekapselte Softwaremodule mit eigenem Betriebssystem.“ Vorteile: Sie sind gut kontrollier- und überwachbar und lassen sich remote testen. „Wir haben die Software bereits getestet. Sie ist ausrollbar auf beliebig viele andere Knoten“, so Lenz, der schon heute jederzeit auf seinem Bildschirm von Kamera zu Kamera schalten kann und etwa weiß, wie hoch der Anteil an Pkws, Lkws und Bussen am Gesamtverkehr und wie hoch die Auslastung einzelner Fahrspuren ist. Schon bald werden die Algorithmen auch Radfahrer und Fußgänger detektieren.

„Digitaler Echtzeitzwilling ist Realität“ (Prof. Alois Knoll)

Das erste Konsortialtreffen von Providentia++ hat gezeigt: „Der digitale Echtzeitzwilling ist Realität“, sagt Prof. Alois Knoll, Leiter des Konsortiums und des Lehrstuhls für Robotik, künstliche Intelligenz und Echtzeitsysteme an der TU München: „Und klar ist auch: Im Laufe des Jahres haben wir die Werkzeugkette zusammen mit den Partnern immer weiter perfektioniert. Das ist sehr wichtig, insbesondere im Hinblick auf unsere nächsten Ziele – die Erforschung des urbanen Raums und die Entwicklung von Mehrwertdiensten.“