On layer-wise representations in deep neural networks

dc.contributor.advisorMüller, Klaus-Roberten
dc.contributor.authorMontavon, Grégoireen
dc.contributor.grantorTechnische Universität Berlin, Fakultät IV - Elektrotechnik und Informatiken
dc.contributor.refereeMüller, Klaus-Roberten
dc.contributor.refereeBengio, Yoshuaen
dc.contributor.refereeBottou, Léonen
dc.date.accepted2013-10-29
dc.date.accessioned2015-11-20T22:58:10Z
dc.date.available2013-12-16T12:00:00Z
dc.date.issued2013-12-16
dc.date.submitted2013-12-16
dc.description.abstractEs ist bekannt, dass tiefe neuronale Netze eine effiziente interne Repräsentation des Lernproblems bilden. Es ist jedoch unklar, wie sich diese effiziente Repräsentation über die Schichten verteilt und wie sie beim Lernen entsteht. In dieser Arbeit entwickeln wir eine Kernel-basierte Analyse für tiefe Netze. Diese Analyse quantifiziert die Repräsentation in jeder Schicht in Bezug auf Rauschen und Dimensionalität. Wir wenden die Analyse auf Backpropagation-Netze und tiefe Boltzmann-Maschinen an und messen die schichtweise Reduzierung von Rauschen und Dimensionalität. Die Analyse zeigt auch den störenden Einfluss des Lernrauschens: Dieses verhindert die Entstehung komplexer Strukturen in tiefen Modellen.de
dc.description.abstractIt is well-known that deep neural networks are forming an efficient internal representation of the learning problem. However, it is unclear how this efficient representation is distributed layer-wise, and how it arises from learning. In this thesis, we develop a kernel-based analysis for deep networks that quantifies the representation at each layer in terms of noise and dimensionality. The analysis is applied to backpropagation networks and deep Boltzmann machines, and is able to capture the layer-wise reduction of noise and dimensionality. The analysis also reveals the disrupting effect of learning noise, and how it prevents the emergence of highly sophisticated deep models.en
dc.identifier.uriurn:nbn:de:kobv:83-opus4-44675
dc.identifier.urihttps://depositonce.tu-berlin.de/handle/11303/4172
dc.identifier.urihttp://dx.doi.org/10.14279/depositonce-3875
dc.languageEnglishen
dc.language.isoenen
dc.rights.urihttp://rightsstatements.org/vocab/InC/1.0/en
dc.subject.ddc000 Informatik, Informationswissenschaft, allgemeine Werkeen
dc.subject.otherMaschinelles Lernende
dc.subject.otherNeuronale Netzede
dc.subject.otherRepräsentationende
dc.subject.otherDeep neural networksen
dc.subject.otherMachine learningen
dc.subject.otherRepresentationsen
dc.titleOn layer-wise representations in deep neural networksen
dc.title.translatedSchichtweise Repräsentationen in Tiefen Neuronalen Netzende
dc.typeDoctoral Thesisen
dc.type.versionpublishedVersionen
tub.accessrights.dnbfree*
tub.affiliationFak. 4 Elektrotechnik und Informatik::Inst. Softwaretechnik und Theoretische Informatikde
tub.affiliation.facultyFak. 4 Elektrotechnik und Informatikde
tub.affiliation.instituteInst. Softwaretechnik und Theoretische Informatikde
tub.identifier.opus44467
tub.publisher.universityorinstitutionTechnische Universität Berlinen

Files

Original bundle
Now showing 1 - 1 of 1
Loading…
Thumbnail Image
Name:
montavon_gregoire.pdf
Size:
3.73 MB
Format:
Adobe Portable Document Format

Collections