Evaluating and improving robustness in reinforcement learning using self-supervised representation learning

dc.contributor.advisorSchneider, Steffen
dc.contributor.advisorBethge, Matthias
dc.contributor.authorMann, Khushdeep Singh
dc.contributor.grantorTechnische Universität Berlinen
dc.contributor.refereeSchneider, Steffen
dc.contributor.refereeBethge, Matthias
dc.contributor.refereeMüller, Klaus Robert
dc.contributor.refereeMontavon, Gregoire
dc.date.accepted2021-06-03
dc.date.accessioned2022-08-05T13:02:18Z
dc.date.available2022-08-05T13:02:18Z
dc.date.issued2021
dc.description.abstractDynamically changing constraints in robotics demand the ability to learn, adapt and reproduce tasks. The robotic workspace is sometimes unpredictable and high dimensional, limiting the scalability of supervised and Reinforcement Learning (RL). In order to tackle these constraints, we undertake the Self-Supervised Learning (SSL) approach for inferring and analyzing the internal dynamics within model-free reinforcement learning algorithms. The thesis investigates the behavior of RL agents under morphological distribution shifts. We train the policies for different RL agents and test transfer the learned models over several perturbed environments. The perturbed environments are being generated by changing the length and mass of agent limbs. Later, we compare the performance of RL policies with and without integrated SSL representations, allowing the agents to adapt across the environments with perturbed parameters. We find that the out-of-distribution performance of self-supervised models is correlated to degradation in agent reward. This work has been accepted at the ’Self-Supervision for Reinforcement Learning Workshop - ICLR2021’ and the short paper is available here.en
dc.description.abstractRobotische Systeme müssen in der Lage sein, sich an Änderungen ihrer Dynamik und wechselnden Umweltbedingungen flexibel anzupassen. Diese Änderungen sind manchmal schwer vorhersagbar und limitieren die Skalierung von Methoden des verstärkenden Lernens (Reinforcement Learning, RL) in der realen Welt. In dieser Arbeit betrachtenund analysieren wir Methoden des selbstüberwachten Lernens (Self-Supervised Learning,SSL), um RL Modelle an ändernde Dynamiken anzupassen.Wir betrachten dabei Veränderungen des Körperplan verschiedener RL Agenten und untersuchen, ob mittels Adaptation per SSL eine Verbesserung des erwarteten Gewinns erreicht werden kann. Während wir eine Korrelation zwischen der Verringerung des Gewinns und des erwarteten Fehlers eines SSL Modells unter einer Dynamikänderung feststellen, finden wir noch keinen ausreichenden Beleg für einen kausalen Zusammenhang. Teil dieser Arbeit erschien bereits als kurzer Beitrag auf dem Self-Supervision for Reinforcement Learning Workshop der ICLR2021 linkde
dc.identifier.urihttps://depositonce.tu-berlin.de/handle/11303/13551
dc.identifier.urihttp://dx.doi.org/10.14279/depositonce-12335
dc.language.isoenen
dc.rights.urihttps://creativecommons.org/licenses/by-nc-nd/4.0/en
dc.subject.ddc000 Informatik, Informationswissenschaft, allgemeine Werkede
dc.subject.otherreinforcement learningen
dc.subject.otherrepresentation learningen
dc.subject.otherself-supervised learningen
dc.subject.otherVerstärkungslernende
dc.subject.otherRepräsentationslernende
dc.subject.otherselbstüberwachtes Lernende
dc.titleEvaluating and improving robustness in reinforcement learning using self-supervised representation learningen
dc.title.translatedBewertung und Verbesserung der Robustheit im Reinforcement Learning durch selbstüberwachtes Repräsentationslernende
dc.typeMaster Thesisen
dc.type.versionacceptedVersionen
tub.accessrights.dnbfreeen
tub.affiliationFak. 4 Elektrotechnik und Informatik>Inst. Softwaretechnik und Theoretische Informatik>FG Maschinelles Lernende
tub.affiliation.facultyFak. 4 Elektrotechnik und Informatikde
tub.affiliation.groupFG Maschinelles Lernende
tub.affiliation.instituteInst. Softwaretechnik und Theoretische Informatikde
tub.publisher.universityorinstitutionTechnische Universität Berlinen
Files
Original bundle
Now showing 1 - 1 of 1
Loading…
Thumbnail Image
Name:
singh_mann_khushdeep.pdf
Size:
13.67 MB
Format:
Adobe Portable Document Format
Description:
Collections