Loading…
Towards deep-reinforcement-learning-based navigation systems for open-path navigation in collaborative and highly dynamic environments
Kästner, Doan Hoang Linh
Navigation of mobile robots in collaborative environments, employing various different actors like humans, robots, or other machinery, opens doors for a variety of complex task domains such as last-mile delivery, logistics, or healthcare services. However, technical limitations still prevent widespread operation of mobile robots in these highly dynamic environments. Moreover, currently employed approaches are cost-intensive due to their overly conservative navigation behavior and the need for extensive engineering efforts. At the same time, Deep Reinforcement Learning has been increasingly successful to generalize new problem instances and swiftly adapt to unexpected changes, thus revealing the potential to improve dynamic obstacle avoidance substantially. This work addresses three main points that currently hampers the widespread adoption of Deep Reinforcement Learning into mobile robot navigation to improve dynamic obstacle avoidance: the complex training of Deep Reinforcement Learning agents, the lack of integration efforts into conventional systems, and as a result, the difficult comparability with classic approaches. To address these aspects: first, an efficient training environment is provided to develop Deep Reinforcement Learning agents in a resource-efficient and intuitive manner. Second, methods to integrate the resulting Deep Reinforcement Learning agent into existing navigation stacks are presented by proposing an intermediate planner that interconnects and leverages the advantages of both learning-based and classic navigation. Finally, methods to extensively evaluate and compare the resulting navigation systems against state-of-the-art approaches are developed to address the lack of an unified assessment procedure for Deep Reinforcement Learning approaches. Results demonstrated the superiority of the proposed navigation system in terms of robustness, efficiency, safety, and smoothness. Within evaluations on real robots, the proposed system outperforms multiple baselines by up to 48 % in terms of navigational safety and by up to 14 % regarding the overall performance – producing the least collisions, highest success rates, and shortest paths to the goal, particularly in highly dynamic environments. This constitutes an essential step to facilitate natural navigation in collaborative environments, thus opening doors for more sophisticated and complex task domains in future.
Navigation in kollaborativen Umgebungen mit verschiedenen Akteuren wie Menschen, Robotern, und anderen Maschinen, öffnet Türen für eine Vielzahl komplexer Aufgabenbereiche, z.B. in Bereichen der Last-mile Lieferung, der Logistik oder der Pflege. Die Navigation in diesen hochdynamischen Umgebungen stellt jedoch weiterhin ein offenes Problem dar. Aktuell verwendete Ansätze haben immernoch technische Limitationen, agieren oft zu konservativ oder meiden diese Bereiche gänzlich und sind dadurch kostenintensiv. Gleichzeitig ist Deep Reinforcement Learning zunehmend erfolgreich in der Lage, neue Problemfälle zu verallgemeinern und sich schnell an unerwartete Veränderungen anzupassen und hat somit das Potential die dynamische Hindernisvermeidung erheblich zu verbessern. Diese Arbeit adressiert drei Hauptpunkte, welche derzeit die weit verbreitete Anwendung von Deep Reinforcement Learning in der mobilen Roboternavigation zur Verbesserung der dynamischen Hindernisvermeidung behindern: komplexes Training von Deep Reinforcement Learning Agenten, mangelnde Integrationsbemühungen in konventionelle Systeme aufgrund grundlegend unterschiedlicher Paradigmen und als Folge davon, schwierige Vergleichbarkeit mit klassischen Ansätzen. Erstens wird eine effiziente Trainingsumgebung bereitgestellt, um Deep Reinforcement Learning Agenten ressourceneffizient und intuitiv zu entwickeln und zu trainieren. Zweitens werden Methoden zur Integration des resultierenden Deep Reinforcement Learning Agenten in bestehende Navigationssysteme vorgestellt, indem ein Zwischenplaner vorgeschlagen wird, der die Vorteile beider Paradigmen miteinander verbindet und nutzt. Schließlich werden Methoden entwickelt, um die resultierenden Navigationssysteme ausgiebig zu evaluieren, mit dem Stand der Technik zu vergleichen, und dadurch eine einheitliche Bewertung von Deep Reinforcement Learning Ansätzen zu ermöglichen. Die Ergebnisse belegen die Überlegenheit des vorgeschlagenen Navigationssystems in Bezug auf Robustheit, Effizienz und Sicherheit. Bei Evaluationen auf realen Robotersystemen übertrifft das vorgeschlagene System mehrere Vergleichsansätze um bis zu 48 % in Bezug auf die Navigationssicherheit, und um 14 % in Bezug auf die Gesamtperformance mit den wenigsten Kollisionen, den höchsten Erfolgsraten und den kürzesten Wegen zum Ziel, insbesondere in hochdynamischen Umgebungen. Dies ist ein wesentlicher Schritt zur Ermöglichung der Open-Path Navigation in kollaborativen Umgebungen und öffnet Türen für noch anspruchsvollere und komplexere Aufgabenbereiche in Zukunft.
