Please use this identifier to cite or link to this item: http://dx.doi.org/10.14279/depositonce-392
Main Title: Maximum a Posteriori Models for Cortical Modeling: Feature Detectors, Topography and Modularity
Translated Title: Maximum a Posteriori Modelle zur kortikalen Modellierung: Merkmalsdetektoren, Topographie und Modularität
Author(s): Weber, Cornelius
Advisor(s): Obermayer, Klaus
Granting Institution: Technische Universität Berlin, Fakultät IV - Elektrotechnik und Informatik
Type: Doctoral Thesis
Language: English
Language Code: en
Abstract: Diese Arbeit zeigt, wie biologisch gefundene Strukturen neuronaler Netze durch theoretisch hergeleitete Regeln des unüberwachten Lernens erklärt werden können. Kapitel 1, 'Einleitung', und Kapitel 2, 'Der Kortex', beschreiben die biologischen Grundlagen: Kortikale Areale und ihre Verbindungen, Zellschichten sowie die Mechanismen, die die Entwicklung neuronaler Verbindungen bestimmen. Diese Grundlagen bilden das Ziel des Modellierungsansatzes und liefern die Motivation für die implementierten Methoden. Kapitel 3, 'Theorie', und Kapitel 4, 'Modelle', beschreiben den maximum likelihood Ansatz und wie Modelle davon abgeleitet werden. Demnach lernt der Modellkortex eine Repräsentation der Welt. Die gelernten Eingabedaten können vom Modell generiert werden, indem man den neuronalen Aktivierungszuständen eine Wahrscheinlichkeitsverteilung, z.B. die Boltzmannverteilung, aufprägt. Biologisch motivierte Entwicklungsmechanismen werden berücksichtigt, indem eine Wahrscheinlichkeitsverteilung der Modellparameter anhand von Bayes'schen priors vorgegeben wird. Es ändern sich die Lernregeln, so dass die in der Biologie gefundenen Strukturen entstehen. Kapitel 5, 'Resultate', beschreibt den Ablauf der Simulationen und ihre Resultate und in Kapitel 6, 'Diskussion', werden die Modelle untereinander und mit der Biologie verglichen. Erstmals entstehen in einer Boltzmann Maschine Neurone, die denen im primären visuellen Kortex darin ähneln, dass sie lokalisierte und orientierungsselektive rezeptive Felder haben. Dieses wird durch einen Bayes'schen prior erreicht, der bestimmt, dass die Neurone wenig aktiv sind. Desweiteren wird ein Netz vorgestellt, dessen interne Architektur sich an die die Daten erzeugende logische Struktur anpasst. So entsteht abhängig von den Daten entweder eine parallele oder eine hierarchische Organisation der Neuronen. Dieses wird anhand zweier verschiedener Modelle, eines nichtlinearen Kalman Filter Modells wie einer Helmholtz Maschine gezeigt.
The thesis shows in a top-down modeling approach that unsupervised learning rules of neural networks can account for the develop ment of cortical neural connections. Sections 1, ''Introduction'', and 2, ''The Cortex'', comprise biological foundations about the cortex: its areas and their mutual connectivity, cell layers and the mechanisms which govern the development of neural connections. These data supply the goal of modeling as well as the motivation for the methods which are used. Sections 3, ''Theory'', and 4, ''Models'', describe the theory and how to derive models from it. In a maximum likelihood framework, the model cortex learns to represent the real world. With neuronal activation states that follow the Boltzmann distribution, the model can then generate the incoming stimuli by itself. Using Bayesian priors on the model parameters, the learning rules are modified to account for biologically observed developmental mechanisms so that biologically observed structures develop. Section 5, ''Results'', presents simulation details and results and in section 6, ''Discussion'', the models are compared and related to the biological findings. In this work it is demonstrated that using a sparsely coded Boltzmann machine, neurons emerge which have localized and orientation selective receptive fields like those observed in primary visual cortex. Another highlight is the demonstration of a high adaptability of model structures to the environment. Either parallelly or hierarchically organized modules will arise as an appropriate adaptation to the organization of the training data set. This is shown using two different models, a non-linear Kalman filter model and a Helmholtz machine.
URI: urn:nbn:de:kobv:83-opus-2941
http://depositonce.tu-berlin.de/handle/11303/689
http://dx.doi.org/10.14279/depositonce-392
Exam Date: 1-May-2001
Issue Date: 9-Jan-2002
Date Available: 9-Jan-2002
DDC Class: 004 Datenverarbeitung; Informatik
Subject(s): Boltzmann Maschine
Kantendetektor
Kortex
Maximum likelihood
Neuronale Netze
Rezeptives Feld
Boltzmann machine
Computational neuroscience
Corticocortical connections
Feature detectors
Maximum likelihood
Receptive field
Usage rights: Terms of German Copyright Law
Appears in Collections:Technische Universität Berlin » Fakultäten & Zentralinstitute » Fakultät 4 Elektrotechnik und Informatik » Publications

Files in This Item:
File Description SizeFormat 
Dokument_49.pdf1.48 MBAdobe PDFThumbnail
View/Open


Items in DepositOnce are protected by copyright, with all rights reserved, unless otherwise indicated.