Cognition Factory: Evaluate and visualize camera data

Herr Lenz, welche Aufgaben hatten Sie im Forschungsprojekt Providentia++?

In Providentia hatten wir zunächst die Aufgabe, Kameradaten zu verarbeiten, Objekte zu detektieren und die Ergebnisse zu visualisieren. Dafür haben wir unter anderem Schnittstellen zu den Partnern gebaut. In Providentia++ ging es durch den Ausbau der Teststrecke mit zwei weiteren Schilderbrücken und drei neuen Sensorstationen für uns darum, viele neue Kameras in unser System einzubinden. Wir mussten also neue Algorithmen entwickeln, ausrollen und sie wartbar und flexibel halten. Unser Ziel war, einerseits die Daten aus allen Kameras zur Verfügung zu haben und andererseits, die riesigen Datenmengen, die zur Verfügung stehen, in Verwertbares zu verwandeln, sie also zu visualisieren. Dafür haben wir eine Plattform zur Aggregation und Analyse der Daten entwickelt, die ein flexibles Zuschalten von Datenströmen aus neu hinzugefügten Kameras quasi auf Knopfdruck ermöglicht.

Haben Sie Ihre Ziele erreicht?

Wir haben heute eine skalierbare Plattform im Einsatz, mit der wir in der Lage sind, flexibel Daten aus fast beliebig vielen Kameras hinzuzuschalten und halten diese Daten aktuell hundert Tage zur Verfügung. Diese Daten sind für andere Partner im Projekt von großem Interesse, etwa Volkswagen und Intel. So arbeitet VW derzeit an einer Vorhersage der Verkehrsdichte und greift dafür auf unsere Zeitseriendatenbank zu. Und Intel nutzt Videosequenzen mit Annotationen aus unserer Datenbank für ihre Analysen. Das gesamte System ist so aufgebaut, dass Updates, die in der Verarbeitungspipeline der Kameras (als so genannte Images) immer wieder nötig sind, intern gebaut und getestet werden können, ehe sie letztlich auf der Infrastruktur ausgerollt werden. Für den Deployment-Prozess ist es sehr wichtig zu wissen, wie man ein Image baut, es ausrollt und letztlich auf der Plattform ausführt – und das möglichst ohne Ausfall in der Verarbeitung. Hier haben wir sehr viel dazugelernt.

Welche besonderen Herausforderungen gab es im Projekt?

Um ehrlich zu sein: Wir haben den Werkzeugkasten natürlich nicht erfunden, mit dem sich unser Teil der Infrastruktur aufsetzen lässt. Aber die Benutzung ist nicht trivial, denn es ist nicht alles so gut dokumentiert, wie es sein sollte. Das Projekt Providentia++ hat uns viele neue Aspekte geboten, für die Anpassungen entwickelt werden mussten. Und dann passieren auch im Sensornetz nicht immer vorhersehbare Dinge: Fällt beispielsweise eine Kamera auf der Autobahn aus, sollte sie in der Lage sein, sich selbst neu zu starten. Andere Module, die die Kameradaten verarbeiten, sollten dadurch nicht beeinflusst werden – und sofort und automatisch wieder die Arbeit aufnehmen, wenn die Kamera „zurück“ ist, ohne oder aber das System entscheidet, ob und wie die anderen Kameras den Ausfall kompensieren können. Weitere Hürde: An den Schilderbrücken sind viele Algorithmen parallel im Einsatz, so dass es nötig ist, das Gesamtsystem so auszutarieren, dass jeder Algorithmus für sich gute und angemessen schnelle Resultate liefert.

Gab es ein Highlight im Projekt?

Es war für uns von Cognition Factory klasse, vor Ort erleben zu können, dass das Gesamtkonzept für unsere Plattform in der Praxis funktioniert. Als die Testrecke Mitte letzten Jahres erweitert wurde und die Schilderbrücke an der Kreuzung (S110) oder die Sensorstation ein paar hundert Meter weiter (M90) mit all ihren Sensoren aufgeschaltet wurden, war das innerhalb von wenigen Stunden geschehen. Alle drei neuen Sensorstationen und zwei Schilderbrücken ließen sich unkompliziert integrieren. Das war für uns die Bestätigung, dass unsere Plattform wirklich skalieren kann. Zudem haben wir es geschafft, mehrere Netze parallel ausführen zu können und die Ergebnisse direkt vergleichen können.

Wie können die Erkenntnisse aus Providentia++ in weiteren Projekten genutzt werden?

Die Erkenntnisse aus Providentia++ fließen natürlich auch in unsere Produkte mit ein. Ein Beispiel ist unsere AI-Knowledge Plattform xLenz, bei der wir den Fokus besonders auf die Fertigung und Produktion legen. Besonders für das Aggregieren von Informationen von beliebig vielen Sensoren und Datenquellen, das Erkennen von Objekten und das Erstellen von Beziehung zueinander konnte auf Konzepte aus Providentia++ aufgebaut werden. In der Intralogistik etwa sind solche Funktionalitäten auch sehr interessant. Denn hier geht es unter anderem darum, Warenströme und Wege von Robotern nachzuvollziehen und diese in Echtzeit darzustellen. Was in Providentia++ die Fahrzeuge auf der Straße sind, sind in der Logistik dann Gabelstapler oder Schubwägen. Das neue System muss dann „nur“ noch mittel künstlicher Intelligenz entsprechend auf die neuen Objekte trainiert werden.