Kameramatrix als Abstandssensor und Bildgeber für autonomes Fahren

Im vom Bundesministerium für Bildung und Forschung (BMBF) geförderten Projekt „DAKARA – Design und Anwendung einer kompakten, energieeffizienten und konfigurierbaren Kameramatrix zur räumlichen Analyse“ arbeiten fünf Partner aus Industrie und Forschung seit 2 Jahren an einer Kameramatrix, die als neuartiger Sensor vielfältige Anwendungsmöglichkeiten für autonomes Fahren und manuelle Montageprozesse in der Industrie eröffnet.

Bei der Vorstellung des Halbzeitmeilensteins stellten die Konsortialpartner jetzt einen ersten Prototyp der Kamera vor. Die Kameramatrix besteht aus sechzehn quadratisch angeordneten Einzelkameras, die zusammen nicht nur als Bildgeber, sondern auch als Entfernungsmesser dienen. Die Matrix ist etwa drei mal drei Zentimeter groß und wurde aus einem hochauflösenden Vollformatsensor mit vorgesetzten Mikrolinsen hergestellt. Sie erfasst die Szene aus sechzehn versetzten Perspektiven, um ein Tiefenbild zu berechnen. Ein kleiner aber effizienter Prozessor, der in das Kamerasystem eingebettet ist, ermöglicht die Berechnung von Tiefeninformationen in Echtzeit. Die erfassten Farb- und Tiefendaten dienen als wichtiger Input für nachfolgende Applikationen. Die neue Kamera kann wegen der kompakten Bauweise als berührungsloser Sensor auch in kleine Bauteile integriert werden.

Dr. Oliver Wasenmüller, der Konsortialleiter und Co-Initiator des Projekts erklärt: „Die DAKARA Kameramatrix besticht durch die Vorteile eines passiven Tiefensensors, kombiniert mit einer kompakten Bauform und einer hohen Bildrate. Die 3D-Tiefenbilder enthalten immer wertvolle Zusatzinformationen zu den Farbbildern, die die Anwendung vieler Algorithmen überhaupt erst ermöglichen oder sie zu einer Robustheit bringen, die einen professionellen Einsatz zulassen.“

Erfolgreiche Anwendungstests bei den Industriepartnern
Das neue System wurde in zwei verschiedenen Anwendungsszenarien ausgiebig bei den Industriepartnern von DAKARA getestet:

Bei Experimenten als Rückfahrkamera des Partners ADASENS Automotive GmbH erkannte das System beim autonomen Einparken selbst feinere Strukturen wie Bordsteinkanten oder Pfosten. Es erfasst das Umfeld des Fahrzeuges (räumlich und metrisch) und liefert so wesentlich präzisere 3D-Informationen als heutzutage übliche Ultraschallsensoren. 

Tests bei den Anwendungspartnern Bosch Rexroth AG und DFKI  (Forschungsbereich Innovative Fabriksysteme und Living Lab SmartFactory) belegen, dass Werker bei manuellen Montageprozessen durch intelligente Assistenzsysteme unterstützt werden können. Neben den Tiefeninformationen der DAKARA Kameramatrix ist dies den intelligenten Algorithmen zur Handerfassung des Projektpartners CanControls GmbH zu verdanken. Mit neuesten Verfahren des Maschinellen Lernens und den Tiefeninformationen der DAKARA Kameramatrix wird die Handposition im 3D Raum ermittelt. Dies ermöglicht eine automatische Überprüfung der Arbeitsschritte und eine intuitive gestengesteuerte Interaktion des Werkers mit dem Softwaresystem.

„DAKARA“ wird vom BMBF im Rahmen des Programms „Photonik Forschung Deutschland – Digitale Optik“ (BMBF) gefördert. Das Projektvolumen beträgt insgesamt 3,8 Millionen Euro, ein Großteil davon wird durch die beteiligten Industriepartner eingebracht.

Bis zum Projektende Ende Februar 2020 arbeiten die Projektpartner daran die Genauigkeit, Performanz und Robustheit der Kamera zu optimieren und das System weiterhin intensiv in den Anwendungen zu testen.