Please use this identifier to cite or link to this item: http://dx.doi.org/10.14279/depositonce-6165
Main Title: Learning representations with neuromodulators
Translated Title: Das Lernen von Repräsentationen mit Neuromodulatoren
Author(s): Holca-Lamarre, Raphael
Advisor(s): Obermayer, Klaus
Lücke, Jörg
Referee(s): Li, Shu-Chen
Obermayer, Klaus
Lücke, Jörg
Granting Institution: Technische Universität Berlin
Type: Doctoral Thesis
Language Code: en
Abstract: Neurons in the cortex and in multi-layer perceptrons (MLPs) represent inputs as patterns of activity. In both systems, the nature of a neural representation carries important consequences and, accordingly, the mechanisms guiding representation learning are of great relevance. In MLPs, the most widespread learning method is the error-backpropagation algorithm. Although functionally effective, this method bears its limitations and is also unlikely to be implemented in the cortex. On the other hand, the mechanisms orchestrating plasticity in cortical representations remain unclear; neuromodulators appear to contribute to this process but their exact roles are largely unknown. This thesis examines the plastic effects of two neuromodulators, acetylcholine (ACh) and dopamine (DA), with the following aims: first, to gain a functional understanding of ACh and DA transmission in shaping biological representations and, second, to explore neuromodulator-inspired learning rules for MLPs. I address these questions in a Hebbian-learning neural network model. I extend the model to simulate the plastic effects and physiological release properties of ACh and DA. I then study the impact of neuromodulatory transmission on the network's representation and its performance on a classification task. In the model, ACh activation approximates the concept of attentional effort. I demonstrate that this signal redistributes neural preferences such that more neurons encode challenging or relevant stimulus classes, thereby boosting performance on these classes. DA activation in the model accompanies reward prediction errors. I show that this signal adjusts neural weights to the reward contingencies of a task, in turn enhancing class selectivity in neurons and yielding large gains in classification accuracy. These results suggest functional roles for ACh and DA in guiding biological representation learning. Additionally, in comparison with MLPs of the same architecture, neuromodulator-inspired learning produces lower error rates than those originally reported on the MNIST dataset and measures up with modern state-of-the-art optimisation methods. A single modulatory signal also proves to successfully guide learning in multiple layers concurrently in a deep convolutional network. Neuromodulator learning requires weak supervision signals and interacts with synaptically-local weight updates, thus offering potential applications in learning with weakly labelled data or in neuromorphic processors.
Neuronen im Kortex und in künstlichen neuronalen Netzwerken (z.B. “Multi-layer erceptrons”, MPLs) repräsentieren Inputs als ktivitätsmuster. In beiden Systemen ist die Natur des neuronalen Codes entscheidend und folglich sind die Mechanismen, die das Lernen von Repräsentationen beeinflussen, von großer Bedeutung. In künstlichen Netzwerken ist der “error-backpropagation” Algorithmus die am weitesten verbreitete Lernmethode. Es ist unwahrscheinlich, dass diese Methode im Kortex implementiert ist, jedoch ist derzeit nicht bekannt, wie das Gehirn Repräsentationen lernt. Die beiden Neuromodulatoren, Acetylcholin (ACh) und Dopamin (DA), lösen plastische Veränderungen in kortikalen Repräsentationen aus. In dieser Arbeit untersuche ich die funktionalen Rollen, die diese beiden Modulatoren, in Bezug auf die Verbesserung sensorischer Repräsentationen, haben. Dabei stehen zwei Ziele im Vordergrund: Zum einen, soll ein funktionales Verständnis der von ACh und DA ausgelösten Plastizität in der Biologie geschaffen werden. Zum anderen, sollen Lernregeln für MPLs erforscht werden, welche von Neuromodulatoren inspiriert sind. Ich behandle diese Fragen mithilfe eines neuronalen Netzwerkmodells, welches auf Hebb’schen Lernregeln basiert. Dazu simuliere ich ACh und DA als Modulatoren der Lernrate des Netzwerkes und bestätige dadurch, dass dieses Modell bekannte Plastizitätseffekte aus der Biologie reproduziert. Danach simuliere ich die physiologischen Eigenschaften der Ausschüttung von ACh und DA und quantifiziere deren Auswirkung mithilfe einer Klassifikationsaufgabe. Im Modell folgt die Auschüttung von ACh den Anforderungen der Aufgabe und der Motivation, als Näherung des Konzepts des Aufmerksamkeitsaufwandes (‘attentional effort’). Ich zeige, dass dieses Signal neuronale Präferenz derart umverteilt, dass mehr Neuronen herausfordernde oder relevante Stimulusklassen kodieren, was die Klassifikation dieser Klassen deutlich verbessert. Ich gehe daher davon aus, dass ACh diese Rolle in der Biologie ausfüllt. DA Auschüttung wird im Modell von Belohnungsvorhersagefehlern (‘reward prediction errors’) hervorgerufen. Dieses Signal verbessert neuronale Selektivität, was wiederum zu einer Steigerung der Klassifikationsgenauigkeit fährt. Ich vermute daher, dass die DA-induzierte Plastizität in senorischen Kortexarialen diese Funktion übernimmt. Angewandt auf den MNIST Datensatz zeigt DA-basiertes Lernen eine sehr gute Leistung, die vergleichbar mit modernen Optimisierungsmethoden in MLPs ist. Diese aussichtsreichen Ergebnisse motivieren weitere Forschungen auf dem Gebiet des neuromodulatorisch-inspirierten Lernens als Modell in der Biologie sowie für praktische Anwendungen.
URI: http://depositonce.tu-berlin.de/handle/11303/6739
http://dx.doi.org/10.14279/depositonce-6165
Exam Date: 30-Jun-2017
Issue Date: 2017
Date Available: 27-Sep-2017
DDC Class: DDC::500 Naturwissenschaften und Mathematik::570 Biowissenschaften; Biologie::573 Einzelne physiologische Systeme bei Tieren
Subject(s): acetylcholine
dopamine
neuromodulator
sensory representations
neural networks
biology-inspired learning
representation learning
Acetylcholin
Dopamin
Neuromodulator
sensorische Repräsentationen
neuronale Netze
bioinspiriertes Lernen
Repräsentationslernen
Creative Commons License: https://creativecommons.org/licenses/by-nc/4.0/
Appears in Collections:Institut für Softwaretechnik und Theoretische Informatik » Publications

Files in This Item:
File Description SizeFormat 
holca-lamarre_raphael.pdf9.17 MBAdobe PDFThumbnail
View/Open


This item is licensed under a Creative Commons License Creative Commons