Please use this identifier to cite or link to this item: http://dx.doi.org/10.14279/depositonce-3875
Main Title: On layer-wise representations in deep neural networks
Translated Title: Schichtweise Repräsentationen in Tiefen Neuronalen Netzen
Author(s): Montavon, Grégoire
Advisor(s): Müller, Klaus-Robert
Referee(s): Müller, Klaus-Robert
Bengio, Yoshua
Bottou, Léon
Granting Institution: Technische Universität Berlin, Fakultät IV - Elektrotechnik und Informatik
Type: Doctoral Thesis
Language: English
Language Code: en
Abstract: Es ist bekannt, dass tiefe neuronale Netze eine effiziente interne Repräsentation des Lernproblems bilden. Es ist jedoch unklar, wie sich diese effiziente Repräsentation über die Schichten verteilt und wie sie beim Lernen entsteht. In dieser Arbeit entwickeln wir eine Kernel-basierte Analyse für tiefe Netze. Diese Analyse quantifiziert die Repräsentation in jeder Schicht in Bezug auf Rauschen und Dimensionalität. Wir wenden die Analyse auf Backpropagation-Netze und tiefe Boltzmann-Maschinen an und messen die schichtweise Reduzierung von Rauschen und Dimensionalität. Die Analyse zeigt auch den störenden Einfluss des Lernrauschens: Dieses verhindert die Entstehung komplexer Strukturen in tiefen Modellen.
It is well-known that deep neural networks are forming an efficient internal representation of the learning problem. However, it is unclear how this efficient representation is distributed layer-wise, and how it arises from learning. In this thesis, we develop a kernel-based analysis for deep networks that quantifies the representation at each layer in terms of noise and dimensionality. The analysis is applied to backpropagation networks and deep Boltzmann machines, and is able to capture the layer-wise reduction of noise and dimensionality. The analysis also reveals the disrupting effect of learning noise, and how it prevents the emergence of highly sophisticated deep models.
URI: urn:nbn:de:kobv:83-opus4-44675
http://depositonce.tu-berlin.de/handle/11303/4172
http://dx.doi.org/10.14279/depositonce-3875
Exam Date: 29-Oct-2013
Issue Date: 16-Dec-2013
Date Available: 16-Dec-2013
DDC Class: 000 Informatik, Informationswissenschaft, allgemeine Werke
Subject(s): Maschinelles Lernen
Neuronale Netze
Repräsentationen
Deep neural networks
Machine learning
Representations
Usage rights: Terms of German Copyright Law
Appears in Collections:Technische Universität Berlin » Fakultäten & Zentralinstitute » Fakultät 4 Elektrotechnik und Informatik » Institut für Softwaretechnik und Theoretische Informatik » Publications

Files in This Item:
File Description SizeFormat 
montavon_gregoire.pdf3,82 MBAdobe PDFThumbnail
View/Open


Items in DepositOnce are protected by copyright, with all rights reserved, unless otherwise indicated.