Loading…
Leveraging problem structure in interactive perception for robot manipulation of constrained mechanisms
Martín-Martín, Roberto
In this thesis we study robot perception to support a specific type of manipulation task in unstructured environments, the mechanical manipulation of kinematic degrees of freedom. In these tasks the goal of the robot is to create controlled motion, i.e. to change configuration of the kinematic degrees of freedom (DoF) of the objects in the environment. Often, the environment contains articulated objects. Their manipulation is specially complex because the knowledge about their properties that would facilitate the task (e.g. their motion constraints, the geometry of their parts, their dynamic and frictional properties) are first revealed when the robot interacts with the object. Therefore, the perception of these objects should exploit interactions to create information-rich sensor signals. This type of problem and the perceptual methods that incorporate actions are called interactive perception. In this thesis we propose a general approach for interactive perception and instantiations of this approach into perceptual systems to build kinematic, geometric and dynamic models of articulated objects.
Perceptual problems in the domain of robot mechanical manipulation of DoF possess special challenges. While unstructured environments are usually continuously changing, robot mechanical manipulation exacerbates this characteristic. But in fact, these changes in the environment contain crucial information for a robot that aims to change purposely the state of the world. Perception for robot manipulation has to extract information from changing sensor signals and their relationship to changes in the environment and to actions. The perceptual process has to deliver information quickly and in an online manner, based only on past and current sensor signals, so that the information can be applied to ongoing interactions. And the perceptual solutions must be versatile enough to cope with a broad range of environmental and task conditions in which the robot should be able to manipulate DoF.
To address these challenges, we propose an approach for interactive perception that leverages four structural regularities of perceptual problems in the domain of robot mechanical manipulation of DoF. First, our approach leverages the dependency between robot actions and changes in the sensor stream using ideas from interactive perception. Second, our approach exploits the temporal structure of the physical processes involved in the mechanical manipulation of DoF using temporal recursion. Third, our approach makes use of task-specific priors that encode physical regularities of the world. These physical priors relate to the manipulation of DoF in unstructured environments and the sensor signal formation: physics laws that govern the motion of objects (e.g. kinematics), mathematical models for the signal formation (e.g. projective geometry), and assumptions about the physical properties of the environment (e.g. that the environment is composed of rigid solid parts). And fourth, our approach leverages dependencies between multiple perceptual subtasks that extract different information patterns about the same articulated object.
The approach we propose leverages the aforementioned problem structure with an interconnected network of recursive estimation processes encoding physical priors and exploiting robot interactions. We instantiated this approach in several robot perceptual systems, presented in consecutive chapters, to extract information about articulated objects –kinematic, geometric and dynamic properties– using only RGB-D information, or a combination of RGB-D and proprioceptive signals (e.g. applied wrenches, configuration of robot’s joints). We study our proposed approach through these interactive perception systems. We evaluate if the systems can extract task-relevant information for the mechanical manipulation of DoF of articulated mechanisms for different objects and in varying and challenging environmental and task conditions. To truly demonstrate that the perceived information is useful for robot manipulation, we complement the perceptual systems with methods to monitor, control and steer the robot interaction based on the online perceived information. We also propose and evaluate a novel method to generate and select informative actions for interactive perception based on the information acquired so far.
In dieser Dissertation untersuchen wir künstliche Wahrnehmungs-Methoden die ermöglichen, dass Robotern bestimmter Manipulationsaufgaben – die mechanische Manipulation kinematischer Freiheitsgrade – in unstruktierten Umgebungen lösen. Der Roboter soll dabei in die Lage versetzt werden die kinematischen Freiheitsgrade von Objekten in seiner Umgebung durch zielgerichtete Bewegungen zu verändern. Menschliche Umgebungen sind voll von artikulierten Objekten, die nur bestimmte kinematische Freiheitsgrade zulassen. Diese Objekte zu manipulieren ist besonders schwierig, da die Konsequenzen der Handlungen des Roboters von der kinematischen Struktur des Objekts, seiner Geometrie und den dynamischen Eigenschaften (z.B. Gelenkreibung) abhängt. Hinzu kommt, dass sich diese Eigenschaften nur erkennen lassen wenn der Roboter mit dem Objekt interagiert. Deshalb sollte die Wahrnehmung solcher Objekte Interaktionen ausnutzen, um Sensorsignale mit hohem Informationsgehalt zu generieren. Diese Art von Problemen und die Wahrnehmungsmethoden die Handlungen berücksichtigen nennt man interaktive Wahrnehmung. In dieser Dissertation schlagen wir einen allgemeinen Ansatz für interaktive Wahrnehmung vor um kinematische, geometrische und dynamische Modelle artikulierter Objekte zu erstellen.
Wahrnehmungsprobleme im Bereich der mechanischen Manipulation von Freiheitsgraden sind durch besondere Herausforderungen gekennzeichnet. Während sich unstrukturierte Umgebungen ohnehin permanent verändern, wird dieser Umstand durch manipulierende Roboter noch zusätzlich verschärft. Tatsächlich enthalten die Veränderungen der Umgebung jedoch wichtige Informationen, die ein Roboter ausnutzen kann, um den Zustand der Welt zielgerichtet zu verändern. Wahrnehmung für Manipulation muss Informationen von sich verändernden Sensorsignalen, deren Zusammenhang mit Anderungen in der Umgebung und deren verursachenden Handlungen extrahieren. Der Wahrnehmungsprozess muss Informationen unmittelbar zur Verfügung stellen, so dass diese in laufenden Interaktionen verwendet werden können. Zusätzlich müssen die Wahrnehmungslösungen vielseitig genug sein um mit einer breiten Palette an Umgebungen und Aufgaben zurechtzukommen, in denen der Roboter Freiheitsgrade manipulieren soll.
Zur Bewältigung dieser Herausforderungen stellen wir einen Ansatz für interaktive Wahrnehmung vor, der vier strukturelle Regularitäten von Wahrnehmungsproblemen im Bereich der Manipulation von Freiheitsgraden ausnutzt. Erstens nutzen wir die Korrelation zwischen den Handlungen des Roboters und Anderungen im Sensorsignalfluss aus. Zweitens machen wir uns die zeitliche Struktur der physikalischen Prozesse zu Nutze, indem unser Ansatz auf zeitlicher Rekursion basiert. Drittens benutzen wir aufgabenspezifisches Vorwissen, das physikalische Regelmäßigkeiten der Welt abbildet. Dieses physikalische Vorwissen bezieht sich auf die Manipulation von Freiheitsgraden in unstrukturierten Umgebungen und die Entstehung von Sensorsignalen: Physikalische Gesetze, die die Bewegung von Objekten beschreiben (z.B. Kinematik), mathematische Modelle für die Signalentstehung (z.B. projektive Geometrie) und Annahmen über die physikalischen Eigenschaften der Umwelt (z.B. dass diese aus Festkörpern zusammengesetzt ist). Viertens nutzen wir die Korrelation zwischen mehreren informationsverarbeitenden Prozessen (Unteraufgaben der Wahrnehmung) bezüglich eines einzelnen artikulierten Objekts aus, indem Informationen zwischen Teilprozessen ausgetauscht werden.
Unser Ansatz macht sich die o.g. Problemstruktur mittels eines ineinandergreifenden Netzwerks aus rekursiven Schätzprozessen zu Nutze. Wir haben diesen Ansatz in Form mehrerer künstlicher Wahrnehmungssysteme implementiert. Diese werden in aufeinanderfolgenden Kapiteln vorgestellt und beziehen auf die Art der Information, die dabei über artikulierte Objekte gewonnen wird: kinematische, geometrische und dynamische Eigenschaften. Unser Ansatz benötigt lediglich RGB-D Daten oder eine Kombination aus RGB-D und propriozeptiven Signalen (z.B. angewendete Dyname oder Konfiguration der Robotergelenke). Wir analysieren unseren Ansatz mit Hilfe dieser interaktiven Wahrnehmungssysteme. Wir evaluieren ob die Systeme aufgabenrelevante Informationen für die mechanische Manipulation von Freiheitsgraden für unterschiedliche Objekte und unter wechselnden Umgebungs- und Aufgabenumständen extrahieren können. Um zu zeigen, dass die wahrgenommene Information für einen manipulierenden Roboter hilfreich ist, ergänzen wir das Wahrnehmungssystem mit Methoden zum Überwachen, Regeln und Steuern der Interaktion durch den Roboter. Zusätzlich stellen wir eine neue Methode vor die informative Handlungen für interaktive Wahrnehmung erzeugt.
