Uniform concentration of tensor and neural networks

dc.contributor.advisorSchneider, Reinhold
dc.contributor.advisorKutyniok, Gitta
dc.contributor.authorGoeßmann, Alex Christoph
dc.contributor.grantorTechnische Universität Berlinen
dc.contributor.refereeSchneider, Reinhold
dc.contributor.refereeEisert, Jens
dc.contributor.refereeKliesch, Martin
dc.date.accepted2021-12-15
dc.date.accessioned2021-12-30T15:00:58Z
dc.date.available2021-12-30T15:00:58Z
dc.date.issued2021
dc.description.abstractThis thesis contributes to the uniform concentration approach towards guaranteeing the generalization of learned models. We show probabilistic bounds on various uniform concentration events and demonstrate their utility in recovery guarantees. The thesis is organized in three parts. In the first part, we develop a unified theoretical framework for the concentration of random variables and the uniform concentration of stochastic processes. We introduce functionals of stochastic processes and apply them in bounds on the supremum. Then we develop methods to transfer uniform concentration events into success guarantees for empirical risk minimization problems. The second part of this thesis investigates classes of structured random distributions. More precisely, we derive bounds on the uniform concentration of contracted random tensors, which are decomposable into tensor network formats. In particular, we show exact moment bounds on contracted Gaussian tensor networks, which are tensor networks consistent of independent standard Gaussian random cores. By applying comparison theorems for Gaussian variables, the upper moment bounds are extended to more generic Orlicz tensor networks, which are characterized by weaker assumptions made on the random cores. Furthermore, we derive bounds on the concentration of Haar tensor networks, which random cores follow the Haar distribution of Stiefel manifolds. For all examples we continue to provide probabilistic bounds on uniform concentration events, which imply recovery guarantees for tensor regression problems. We further apply our findings in deriving success guarantees for efficient algorithms solving tensor regression problems. In the third part, we transfer our findings to bounds on the uniform concentration of neural networks following two approaches. First, we derive concentration bounds for shallow ReLU networks with respect to standard Gaussian distributions, where we introduce parameter embeddings that capture the concentration structure. Second, we bound the Rademacher complexity of deep neural networks, which are activated by a contraction, by Rademacher complexities of linear functions. This enables the proof of recovery guarantees for neural networks, which are trained on structured data.en
dc.description.abstractDiese Arbeit trägt zu der Generalisierungstheorie von statistisch gelernten Modellen bei. Sie beinhaltet den Beweis von Wahrscheinlichkeitsschranken an gleichförmige Konzentrationsereignisse und deren Anwendung in Generalisierungsgarantien. Die Arbeit ist in drei Teile gegliedert. Im ersten Teil werden allgemeine Konzepte zur Beschreibung der Konzentration von Zufallsvariablen und der gleichförmigen Konzentration von stochastischen Prozessen entwickelt. Dazu werden Funktionale eingeführt und Schranken an die Suprema von stochastischen Prozessen bewiesen. Diese Schranken werden im Anschluss im Beweis von Generalisierungsgarantien für Lernprobleme angewandt. Der zweite Teil der Arbeit behandelt speziell strukturierte Wahrscheinlichkeitsverteilungen. Mit Fokus auf Tensornetzwerke wird die Konzentration von kontrahierten Zufallstensoren untersucht. Für den Fall von gaussverteilten Komponenten des Tensornetzwerkes werden exakte Schranken an die Momente der Kontraktionen bewiesen. Die oberen Schranken werden hierauf zu allgemeineren Klassen von Zufallstensornetzwerken erweitert. Zusätzlich werden Konzentrationsfunktionen von Tensornetzwerken, deren Komponenten von einem Haarmaß gezogen werden, beschränkt. Für alle Beispiele werden im Anschluss Schranken an die gleichförmige Konzentration bewiesen und diese auf Regressionsprobleme angewandt. Mithilfe dieser Ergebnisse werden nun effiziente Algorithmen zur Lösung von Tensorregressionsproblemen untersucht und Konvergenzgarantien entwickelt. Im dritten Teil der Arbeit wird die Konzentration von neuronalen Netzwerken mithilfe zweier Ansätzen behandelt. Erstens wird die Konzentration von flachen ReLU Netzwerken mithilfe einer Einbettung der Netzwerkparameter untersucht und unter der Annahme gaussverteilter Daten Konzentrationsschranken über Euklidische Abstände bewiesen. Zweitens wird die Rademacher Komplexität von tiefen neuronalen Netzwerken, deren Aktivierungsfunktion eine Kontraktion ist, auf die Rademacher Komplexität von linearen Funktionenklassen zurückgeführt. Dies ermöglicht nun Generalisierungsgarantien von neuronalen Netzwerken bezüglich strukturierter Datenverteilungen.de
dc.identifier.urihttps://depositonce.tu-berlin.de/handle/11303/15990
dc.identifier.urihttp://dx.doi.org/10.14279/depositonce-14763
dc.language.isoenen
dc.rights.urihttps://creativecommons.org/licenses/by/4.0/en
dc.subject.ddc519 Wahrscheinlichkeiten, angewandte Mathematikde
dc.subject.otherrandom tensorsen
dc.subject.othertensor networksen
dc.subject.othergeneralization guaranteesen
dc.subject.otherstructured random variablesen
dc.subject.otherneural networksen
dc.subject.otherZufallstensorende
dc.subject.otherTensornetzwerkede
dc.subject.otherGeneralisierungsgarantiende
dc.subject.otherstrukturierte Zufallsvariablende
dc.subject.otherNeuronale Netzwerkede
dc.titleUniform concentration of tensor and neural networksen
dc.title.subtitlean approach towards recovery guaranteesen
dc.title.translatedGleichförmige Konzentration von Tensor- und Neuronalen Netzwerkende
dc.title.translatedsubtitleein Ansatz zur Herleitung von Generalisierungsgarantiende
dc.typeDoctoral Thesisen
dc.type.versionacceptedVersionen
tub.accessrights.dnbfreeen
tub.affiliationFak. 2 Mathematik und Naturwissenschaften::Inst. Mathematik::FG Modellierung, Simulation und Optimierung in Natur- und Ingenieurwissenschaftende
tub.affiliation.facultyFak. 2 Mathematik und Naturwissenschaftende
tub.affiliation.groupFG Modellierung, Simulation und Optimierung in Natur- und Ingenieurwissenschaftende
tub.affiliation.instituteInst. Mathematikde
tub.publisher.universityorinstitutionTechnische Universität Berlinen

Files

Original bundle
Now showing 1 - 1 of 1
Loading…
Thumbnail Image
Name:
goessmann_alex_christoph.pdf
Size:
1.86 MB
Format:
Adobe Portable Document Format
Description:
License bundle
Now showing 1 - 1 of 1
No Thumbnail Available
Name:
license.txt
Size:
4.86 KB
Format:
Item-specific license agreed upon to submission
Description:

Collections