10. April 2022 - Providentia Editors

fortiss-Real-time-platform: Distribute algorithms before bottlenecks occur

Even after five and a half years of research, there is still room for improvement in the overall Providentia++ system of data fusion, perception, and prediction. Bernhard Blieninger takes stock from the perspective of the State Research Institute fortiss.

Herr Blieninger, fortiss war im ersten Teil des Forschungsprojektes Providentia Konsortialführer. Welche Aufgaben hatten Sie als Partner konkret im Folgeprojekt Providentia++?

Die fortiss hatte im Folgeprojekt Providentia++ die Aufgabe, eine hochverfügbare und verlässliche Gesamtfusion der Verkehrsdaten zu erforschen. Es ging es uns darum, die Erkennung der Fahrzeuge sowie die Vorhersagen über die Fahrzeugbewegungen robuster zu machen. Zum anderen war unsere Aufgabe, eine Plattform zu entwickeln, die Algorithmen hoch verfügbar zur Verfügung stellen kann. Denn was nützen die besten Algorithmen, wenn sie immer mal wieder ausfallen? Diese dynamische Systemumgebung ist insbesondere im zweiten Förderabschnitt entstanden. Unser Prototyp basiert auf kleinen, energiesparenden Entwicklungsboards, die die Träger von Funktionalitäten sind und dem Echtzeitbetriebssystem für eingebettete Systeme FreeRTOS, auf dessen Basis unsere Algorithmen etwa zur Objekterkennung und Anwendungen wie ein Spurassistent letztlich laufen. Diese Software läuft in einem Fahrzeug wie etwa unserem Testfahrzeug Fortuna, das grundsätzlich zwar autark funktionieren soll, aber über Road Side Units wie die Sensorstationen in Providentia++ erweitert werden kann.

KI-Algorithmen für Erkennung und Vorhersage im Einsatz

Haben Sie die Ziele erreicht, die Sie sich zu Beginn von Providentia++ gesetzt haben?

Wir haben unsere Perzeptions- und Erkennungsalgorithmen robuster gemacht und erreichen inzwischen eine gute Prädiktion. Die Ausmaße von Fahrzeugen können wir inzwischen mit einer Abweichung von unter 50 Zentimetern bestimmen. Selbst Fahrzeuge, die sich aufgrund der jeweiligen Perspektive hinter anderen „verstecken“, lassen sich mit Hilfe unserer Verdeckungshandhabung gut tracken. Und Machine-Learning-Algorithmen sind in der Lage, die Wege von Fahrzeugen in den kommenden drei Sekunden vorherzusagen. Das ist wichtig, um einen autonomen Spurassistenten zu optimieren und den Straßenverkehr sicherer zu machen. Klar ist aber auch: Man kann das Gesamtsystem aus globaler Fusion, Perzeption und Prädiktion immer noch ein Stück besser machen – die Optimierung endet eigentlich nie. Um speziell das Zusammenspiel von Fahrzeug und Infrastruktur weiter zu verbessern, haben wir unsere Open-source-basierte Echtzeitplattform zum Prototyp entwickelt. Sie wurde im Rahmen der zweiten Förderphase neu aufgebaut und hochverfügbar gemacht. Sie dient dazu, die Last im System vorherzusagen sowie Algorithmen frühzeitig zu verteilen, bevor es zu Engpässen und Ausfällen kommt. Das Besondere an unserer „Plattform der Zukunft“ ist, dass „embedded services“ eingebracht werden können, dass sie universell einsetzbar ist und in diversen Domänen eingesetzt werden kann – etwa auch in der Fahr-, oder Industriesteuerung. Also eigentlich überall, wo es um die Überwachung von technischer Infrastruktur geht. Mit unserer Plattform wird grundsätzlich mehr in die Richtung gedacht, Fahrzeug und Infrastruktur gemeinsam zu sehen, auch wenn die Plattform und das Providentia++-System augenblicklich noch nicht voll integriert sind.

Welche besonderen Herausforderungen gab es im Projekt?

Es gab diverse Herausforderungen, die sich im Laufe des Projektes erst herauskristallisiert haben und die die Erstellung von Algorithmen beeinflussen. So wackeln die Kameras schon bei mäßigem Wind auf den Schilderbrücken, Fahrzeuge sind durch andere verdeckt oder sie sind leicht gedreht: Algorithmen müssen unter allen diesen Bedingungen zuverlässig und robust sein. Das Ziel, eine Zuverlässigkeit von nahezu 100 Prozent, erreicht man, indem man die Algorithmen so akkurat wie möglich an die Problemstellung und aktuellen Gegebenheiten anpasst. Wichtig ist, dennoch alle Dynamiken im Fahrszenario mit abzudecken. Abgesehen von diesen praktischen Herausforderungen an der Teststrecke haben sich in den letzten zweieinhalb Jahren besonders die Auswirkungen von Corona bemerkbar gemacht. Chips und Bauteile konnten in der Regel nur mit Verzögerungen beschafft werden, weshalb wir beispielsweise auf die Integration diverser Boards verzichtet haben und unser Setup auf die verfügbaren Bauteile zusammengedampft haben. Auch wenn die optimalen Bedingungen für den Benchmark der Plattform noch im Labor zu finden sind, kann der Prototyp bald im Auto seine Praxistauglichkeit unter Beweis stellen.

The operation of the concealment handling, the schematic structure of the real-time platform and the use of FreeRTOS in the diagram. Source: fortiss, 2022

Den Fokus auf moderne Algorithmen und Big Data legen

Was war Dein persönliches Highlight?

Anderthalb Jahre haben wir daran gearbeitet, den Prototyp für eine Echtzeitplattform zu schaffen, der es möglich macht, Tasks von einem Board zum anderen zu migrieren, die generalisierbar und auf andere Domänen anwendbar ist. Der Weg dahin war nicht einfach: Denn die Plattform wurde am Reißbrett geplant, Komponenten wurden entwickelt, getestet und diverse Einstellungen vorgenommen, bis schlussendlich alles gut anlief. Als dann die Berechnungen schließlich alle gepasst haben, war das ein tolles Gefühl. Aktuell erweitern wir das System ständig, um es noch robuster und leistungsfähiger zu machen und immer mehr Benchmarkingdaten auszuwerten. So lassen sich die Vorhersagegenauigkeit von Tasksets in der Plattform (aktuell bei etwa 85%) und die Präzision der Trajektorien von Verkehrsteilnehmern (aktuell 1,51 Meter) sicher noch weiter verbessern. Zudem gibt es noch immer einen sehr geringen Anteil von Fahrzeugfehlerkennungen. Das passiert in bis zu fünf Fällen pro tausend Fahrzeugen (99,5 Prozent Erkennungsquote). Hier hätten wir insgesamt irgendwann gerne eine Zuverlässigkeit und Hochverfügbarkeit, die gerne noch höher sein darf, als die berühmten fünf Neuner (99,999%).

Was nehmen Sie aus diesem Projekt in zukünftige Vorhaben mit?

Die Erkenntnis, dass es auch künftig immer den Spagat geben wird zwischen neuen, modernen Algorithmen, die auf Wahrscheinlichkeiten und Big Data beruhen und mathematisch abgesicherten, verifizierte Algorithmen und Herangehensweisen, die vergleichsweise langsam oder ressourcenintensiv sind. Es wird sich keine absolute Garantie dafür aussprechen lassen, dass alle unsere modernen Algorithmen unter den jeweiligen Umweltbedingungen immer zuverlässig und robust arbeiten, durch unsere Forschung leisten wir aber einen Beitrag dazu, das Risiko immer weiter zu verringern. Dennoch, niemand kann verhindern, dass Sensoren mal verdrecken, es sintflutartig regnet oder andere unkalkulierbare Ereignisse eintreten. Jedenfalls ist klar, dass es hinsichtlich der Sicherheit, Ausführbarkeit und Praktikabilität des gesamten Setups inklusive der Sensorik weiteren Forschungsbedarf gibt.

*Bernhard Blieninger ist Informatiker und schreibt derzeit bei Prof. Uwe Baumgarten im Lehrstuhl für Vernetzte Systeme der TU München an seiner Doktorarbeit zum Thema des Einsatzes von KI-Algorithmen zur Ausführungsanalyse und -vorhersage von Tasks in dynamischen multi-core mixed-criticality Systemen. Kontakt: blieninger@fortiss.org

Weitere Informationen

Vogelperspektive: Mehr Präzision für den digitalen Zwilling

Mit autonomen Agenten Bewegungen vorhersagen

WEITERE AKTUELLE THEMEN

1. July 2022

Cognition Factory: Evaluate and visualize camera data

Since the beginning of research on the digital twin, AI specialist Cognition Factory GmbH has focused on processing camera data. In the meantime Dr. Claus Lenz has deployed a large-scale platform

MORE >

1. July 2022

Digital real-time twin of traffic: ready for series production

Expand the test track, deploy new sensors, decentralize software architecture, fuse sensor data for 24/7 operation of a real-time digital twin, and make data packets public: TU Munich has decisively advanced the Providentia++ research project.

MORE >

11. May 2022

Elektrobit: Coining Test Lab to stationary data

Elektrobit lays the foundation for Big Data evaluations of traffic data. Simon Tiedemann on the developments in P++.

MORE >