Learning robotic perception through prior knowledge
| dc.contributor.advisor | Brock, Oliver | |
| dc.contributor.author | Jonschkowski, Rico | |
| dc.contributor.grantor | Technische Universität Berlin | en |
| dc.contributor.referee | Brock, Oliver | |
| dc.contributor.referee | Konidaris, George | |
| dc.contributor.referee | Toussaint, Marc | |
| dc.date.accepted | 2018-05-02 | |
| dc.date.accessioned | 2018-06-01T10:40:19Z | |
| dc.date.available | 2018-06-01T10:40:19Z | |
| dc.date.issued | 2018 | |
| dc.description.abstract | Intelligent robots must be able to learn; they must be able to adapt their behavior based on experience. But generalization from past experience is only possible based on assumptions or prior knowledge (priors for short) about how the world works. I study the role of these priors for learning perception. Although priors play a central role in machine learning, they are often hidden in the details of learning algorithms. By making these priors explicit, we can see that currently used priors describe the world from the perspective of a passive disinterested observer. Such generic AI priors are useful because they apply to perception scenarios where there is no robot, such as image classification. These priors are still useful for learning robotic perception, but they miss an important aspect of the problem: the robot. Robots are neither disinterested nor passive. They are trying to achieve tasks by interacting with the world around them, which adds structure to the problem and affords new kinds of priors, which I call robotic priors. The questions are: What are the right robotic priors and how can they be used to enable learning? I investigate these questions in three different perception problems based on raw visual input: 1. learning object segmentation for picking up objects in the Amazon picking challenge, 2. learning state estimation for localization and tracking, and 3. unsupervised learning of state representations that facilitate reinforcement learning. To solve these problems, I propose three sources of prior knowledge---1. the robot's task, 2. robotic algorithms, and 3. physics---and develop ways to encode these priors for the corresponding learning problems. Some of these priors are best encoded as hard constraints that restrict the space of hypotheses considered during learning. Other priors are more suitable to be encoded as preferences for certain hypotheses in the form of learning objectives. My experiments across these problems consistently show that robotic-specific prior knowledge leads to more efficient learning and improved generalization. Based on these results, I propose to take a prior-centric perspective on machine learning, from which follows that we need robotics-specific machine learning methods that incorporate appropriate priors. | en |
| dc.description.abstract | Intelligente Roboter müssen in der Lage sein zu lernen, um ihr Verhalten auf Basis von Erfahrung anzupassen. Um aus spezifischen Erfahrungen allgemeine Schlüsse zu ziehen, bedarf es jedoch Annahmen oder Vorwissen über die Welt. Ich untersuche die Bedeutung dieses Vorwissens für das Lernen von Wahrnehmung. Obwohl Vorwissen eine zentrale Rolle im maschinellen Lernen spielt, ist es oft in den Details der Lernalgorithmen verborgen. Wenn wir dieses Vorwissen explizit machen, wird deutlich, dass aktuell benutztes Vorwissen die Welt aus der Sicht eines passiven ziellos Beobachters beschreibt. Solche allgemeinen KI-Annahmen sind hilfreich, weil sie auf Wahrnehmungsprobleme wie Bildklassifizierung anwendbar sind, bei denen es keinen Roboter gibt. Solche Annahmen sind auch für das Lernen robotischer Wahrnehmung hilfreich, aber sie übersehen einen wichtigen Aspekt des Problems: den Roboter. Roboter sind weder ziellos noch passiv. Sie versuchen bestimmte Aufgaben zu lösen, indem sie mit der Welt interagieren. Dadurch ergibt sich zusätzliche Problemstruktur, die in anderen Arten von Vorwissen genutzten werden kann. Es stellen sich daher die Fragen was die richtigen Robotik-Annahmen sind und wie diese genutzt werden können, um Lernen zu ermöglichen. Ich beschäftige mich mit diesen Fragen in drei unterschiedlichen Wahrnehmungsproblemen auf Basis von visuellen Eingaben: 1. Lernen von Objektsegmentierung die es ermöglicht bestimmte Objekte in der Amazon Picking Challenge zu greifen, 2. Lernen von Zustandsschätzung für Lokalisierung und Nachführung und 3. unüberwachtes Lernen von Zustandsrepräsentationen, die bestärkendes Lernen ermöglichen. Um diese Probleme zu lösen, schlage ich drei Quellen für Vorwissen vor -- 1. die Aufgabe des Roboters, 2. Algorithmen aus der Robotik, 3. physikalische Gesetze -- und entwickle Möglichkeiten Annahmen aus diesen Quellen in den entsprechenden Lernproblemen zu nutzen. Manche dieser Annahmen lassen sich am besten als harte Bedingungen kodieren, die den Raum der möglichen Hypothesen einschränken die beim Lernen in Betracht gezogen werden. Andere Annahmen sind besser dazu geeignet mit ihnen konsistente Hypothesen zu bevorzugen, indem diese Annahmen als Lernzielen implementiert werden. Meine Experimente in den drei untersuchten Problemen stimmen darin überein, dass robotikspezifische Annahmen Lernen effizienter machen und Generalisierung verbessern. Aufgrund dieser Ergebnisse argumentiere ich für eine Sicht auf maschinelles Lernen, die Vorwissen ins Zentrum der Untersuchung stellt. Aus dieser Sicht folgt, dass wir robotikspezifische Lernmethoden mit entsprechenden Annahmen benötigen. | de |
| dc.description.sponsorship | DFG, 329426068, Maschinelles Lernen für Probleme in der Robotik | en |
| dc.identifier.uri | https://depositonce.tu-berlin.de/handle/11303/7901 | |
| dc.identifier.uri | http://dx.doi.org/10.14279/depositonce-7062 | |
| dc.language.iso | en | en |
| dc.rights.uri | https://creativecommons.org/licenses/by/4.0/ | en |
| dc.subject.ddc | 000 Informatik, Informationswissenschaft, allgemeine Werke | de |
| dc.subject.other | robotics | en |
| dc.subject.other | machine learning | en |
| dc.subject.other | perception | en |
| dc.subject.other | prior knowledge | en |
| dc.subject.other | Robotik | de |
| dc.subject.other | maschinelles Lernen | de |
| dc.subject.other | Wahrnehmung | de |
| dc.subject.other | Vorwissen | de |
| dc.title | Learning robotic perception through prior knowledge | en |
| dc.title.translated | Lernen von robotischer Wahrnehmung durch Vorwissen | en |
| dc.type | Doctoral Thesis | en |
| dc.type.version | acceptedVersion | en |
| tub.accessrights.dnb | free | en |
| tub.affiliation | Fak. 4 Elektrotechnik und Informatik::Inst. Technische Informatik und Mikroelektronik::FG Robotics | de |
| tub.affiliation.faculty | Fak. 4 Elektrotechnik und Informatik | de |
| tub.affiliation.group | FG Robotics | de |
| tub.affiliation.institute | Inst. Technische Informatik und Mikroelektronik | de |
| tub.publisher.universityorinstitution | Technische Universität Berlin | en |