Camera self-health-maintenance by means of sensor artificial intelligence
Wischow, Maik
Autonomous machines require increasingly more robustness and reliability to meet the demands of modern tasks. These requirements specially apply to cameras onboard such machines, as they are the predominant sensors acquiring information about the environment to support decision making and actuation. Hence, the cameras must maintain their own functionality. This poses a significant challenge, primarily driven by the variety of existing cameras, the vast amount of potential application scenarios, and the limited machine resources, all while demanding real-time performance. Existing solutions are typically tailored to specific problems or detached from the downstream computer vision tasks of the machines, which, however, determine the requirements on the quality of the produced camera images.
This thesis presents a camera self-health-maintenance framework to bridge this gap. The approach combines a generalized condition monitoring and a task-oriented decision & control unit. The monitoring is based on novel learning-based blur and noise estimators that incorporate physical knowledge about the camera to increase consistency and robustness. Especially the incorporation of camera metadata enables the system to disambiguate the contributions of different noise processes within a camera. In this manner alone, the decision & control unit can initiate appropriate countermeasures, if necessary. To this end, camera parameters are readjusted based on an empirical image task analysis to optimize performance under any situation.
The framework is evaluated on synthetic and real datasets from transportation and robotic scenarios in terms of accuracy, robustness and real-time capability. Firstly, the blur and noise estimators are examined and two extensions are analyzed, which recover the estimation of combined blur/noise corruptions and reduce estimation uncertainties, respectively. Secondly, the effect of an acquired image and the camera’s metadata on oise source estimation is investigated. This method is further demonstrated on the detection of mismatches between both inputs (image and camera metadata) to quantify unexpected noise as from camera defects. Lastly, the framework is implemented and verified on a real robot system.
The real demonstration on a robot shows promising results to employ the framework for arbitrary mobile machines in unknown environments. In particular, the proposed framework outperforms standard camera parameter controllers. Yet, the results also highlight current limitations that require framework extensions in future studies, such as the application to complex non-linear motion blur and scenes with high dynamic light intensity ranges.
Autonome Maschinen benötigen zunehmend mehr Robustheit und Zuverlässigkeit, um den Anforderungen moderner Aufgaben standzuhalten. Diese Anforderungen gelten insbesondere für Kameras an Bord solcher Maschinen, da sie die vorherrschenden Sensoren sind, die Informationen über die Umgebung erfassen und somit die Entscheidungsfindung und Steuerungsprozesse unterstützen. Aus diesem Grund müssen die Kameras ihre eigene Funktionalität aufrechterhalten. Dies stellt eine große Herausforderung dar, die in erster Linie durch die Vielfalt der vorhandenen Kameras, die große Anzahl potenzieller Anwendungsszenarien und die begrenzten Maschinenressourcen bedingt ist, während gleichzeitig Echtzeit-Performance benötigt wird. Derzeitige Lösungsansätze sind in der Regel auf spezifische Problemstellungen zugeschnitten oder losgelöst von den nachgelagerten Bildverarbeitungsaufgaben der Maschinen, die jedoch die Anforderungen an die Qualität der erzeugten Kamerabilder bestimmen.
In dieser Arbeit wird ein Framework zur Selbstinstandhaltung von Kameras vorgestellt, um diese Lücke zu schließen. Das Framework kombiniert eine Zustandsüberwachung mit einer Entscheidungs- & Steuerungseinheit. Die Zustandsüberwachung basiert auf neuartigen lernbasierten Unschärfe- und Rauschschätzern, die physikalisches Wissen über die Kamera einbeziehen, um die Konsistenz und Robustheit zu erhöhen. Insbesondere Kamera-Metadaten ermöglichen es, die Beiträge verschiedener Rauschprozesse innerhalb einer Kamera voneinander abzugrenzen. Nur so kann die Steuereinheit bei Bedarf geeignete Gegenmaßnahmen einleiten. Zu diesem Zweck werden die Kameraparameter auf Grundlage einer empirischen Analyse der Bildverarbeitungsaufgaben nachjustiert, um die Performance je nach Situation zu optimieren.
Das Framework wird anhand von synthetischen und realen Datensätzen aus Transport- und Roboterszenarien in Hinblick auf Genauigkeit, Robustheit und Echtzeitfähigkeit evaluiert. Zunächst werden die Unschärfe- und Rauschschätzer analysiert und zwei Erweiterungen untersucht, die die Schätzung von kombinierten Unschärfe-/Rauschverfälschungen wiederherstellen beziehungsweise die Schätzungsunsicherheiten verringern. Zweitens werden die Auswirkungen eines aufgenommenen Bildes und der Metadaten der Kamera auf die Schätzung der Rauschquelle untersucht. Diese Methode wird außerdem bei der Erkennung von Abweichungen zwischen beiden Eingaben (Bild und Kamerametadaten) demonstriert, um unerwartetes Rauschen zu quantifizieren, das zum Beispiel auf Kameradefekte zurückzuführen ist. Abschließend wird das Konzept auf einem realen Robotersystem implementiert und verifiziert.
Die Demonstration am realen Roboter liefert vielversprechende Ergebnisse für den Einsatz des Frameworks bei beliebigen mobilen Maschinen in unbekannten Umgebungen. Insbesondere übertrifft das vorgeschlagene Framework die Standard-Kameraparametersteuerung. Die Ergebnisse weisen jedoch auch auf aktuelle Einschränkungen hin, die in zukünftigen Studien Erweiterungen des Frameworks erfordern, wie zum Beispiel die Anwendung auf komplexe nichtlineare Bewegungsunschärfe und Szenen mit hohem Dynamikumfang der Lichtverhältnisse.
