Latent variable augmentation for approximate Bayesian inference

dc.contributor.advisorOpper, Manfred
dc.contributor.authorGaly-Fajou, Théo
dc.contributor.grantorTechnische Universität Berlin
dc.contributor.refereeOpper, Manfred
dc.contributor.refereeWilk, Mark van der
dc.contributor.refereeSolin, Arno
dc.date.accepted2022-07-07
dc.date.accessioned2023-05-09T14:17:19Z
dc.date.available2023-05-09T14:17:19Z
dc.date.issued2023
dc.description.abstractPerforming inference on probabilistic models can represent a challenge even in seemingly simple problems. When working with non-conjugate Bayesian models, we need approximate methods such as variational inference or sampling, each with its pitfalls and limits. For instance, heavy-tailed distributions represent a challenge for sampling methods, and strongly correlated variables quickly become a bottleneck for many inference algorithms. Instead of developing yet another new state-of-the-art sampler or optimizer, we focus on reinterpreting models such that standard inference algorithms like blocked Gibbs sampling, usually restricted to more trivial models, become the best choice. In the first part, we derive model augmentations for different Gaussian Process models such as classification and multi-class classification. We focus on the effects on inference and develop a generalization for a given class of likelihoods. We show that augmentations are scalable with data and outperform all existing methods in terms of speed and stability. The second part focuses on approximations based on a Gaussian variational distribution. We show that by parametrizing the Gaussian distribution by a set of particles instead of its parameters, we avoid expensive computations, increase the model flexibility, and prove theoretical convergence bounds. In addition to the published papers, we discuss the impact of these different augmentations, including their limitations. We also expose outlooks on new research directions, including concrete advances. In particular, we present ways to compensate for issues raised in the presented papers and present new augmentation models and new inference approaches compatible with augmented models.en
dc.description.abstractDie Inferenz auf probabilistische Modelle kann selbst bei scheinbar einfachen Problemen eine Herausforderung darstellen. Bei der Arbeit mit nicht-konjugierten Bayes’schen Modellen benötigen wir Näherungsmethoden wie Variationsinferenz oder Sampling, die jeweils ihre Tücken und Grenzen haben. So stellen beispielsweise stark schwanzlastige Verteilungen eine Herausforderung für Sampling-Methoden dar, und stark korrelierte Variablen werden für viele Inferenzalgorithmen schnell zu einem Engpass. Anstatt einen weiteren hochmodernen Sampler oder Optimierer zu entwickeln, konzentrieren wir uns darauf, Modelle so umzuinterpretieren, dass Standard-Inferenzalgorithmen wie blockiertes Gibbs-Sampling, die normalerweise auf trivialere Modelle beschränkt sind, die beste Wahl werden. Im ersten Teil leiten wir Modellerweiterungen für verschiedene Gauß’sche Prozessmodelle wie Klassifikation und Mehrklassenklassifikation ab. Wir konzentrieren uns auf die Auswirkungen auf die Inferenz und entwickeln eine Verallgemeinerung für eine bestimmte Klasse von Likelihoods. Wir zeigen, dass die Augmentierungen mit den Daten skalierbar sind und alle bestehenden Methoden in Bezug auf Geschwindigkeit und Stabilität übertreffen. Der zweite Teil konzentriert sich auf Approximationen, die auf einer Gaußschen Variationsverteilung basieren. Wir zeigen, dass wir durch die Parametrisierung der Gauß-Verteilung durch eine Menge von Partikeln anstelle ihrer Parameter teure Berechnungen vermeiden, die Flexibilität des Modells erhöhen und theoretische Konvergenzgrenzen nachweisen können. Zusätzlich zu den veröffentlichten Arbeiten diskutieren wir die Auswirkungen dieser verschiedenen Erweiterungen, einschließlich ihrer Grenzen. Wir geben auch einen Ausblick auf neue Forschungsrichtungen, einschließlich konkreter Fortschritte. Insbesondere zeigen wir Wege auf, wie die in den vorgestellten Arbeiten aufgeworfenen Probleme kompensiert werden können, und stellen neue Augmentationsmodelle und neue Inferenzansätze vor, die mit augmentierten Modellen kompatibel sind.de
dc.description.sponsorshipBMBF, 031L0023A, i:DSem - Verbundprojekt: PREDICT - Umfassende Datenintegration zur Verbesserung onkologischer Therapien - Teilprojekt A
dc.description.sponsorshipBMBF, 01IS18051A, Verbundprojekt: DeepIntegrate - Integration heterogener Datenquellen im Deep Learning: Architekturen, Algorithmen und Anwendungen in der Pflanzenzüchtung
dc.identifier.urihttps://depositonce.tu-berlin.de/handle/11303/19007
dc.identifier.urihttps://doi.org/10.14279/depositonce-17605
dc.language.isoen
dc.relation.haspart10.14279/depositonce-14913
dc.rights.urihttp://rightsstatements.org/vocab/InC/1.0/
dc.subject.ddc000 Informatik, Informationswissenschaft, allgemeine Werkede
dc.subject.otherGaussian processen
dc.subject.otherBayesian inferenceen
dc.subject.otherapproximate inferenceen
dc.subject.otherGibbs samplingen
dc.subject.otherlatent variable augmentationen
dc.titleLatent variable augmentation for approximate Bayesian inferenceen
dc.title.subtitleapplications for Gaussian processesen
dc.title.translatedLatente Variablenerweiterung für approximative Bayes'sche Inferenzde
dc.title.translatedsubtitleAnwendungen für Gauß-Prozessede
dc.typeDoctoral Thesis
dc.type.versionacceptedVersion
dcterms.rightsHolder.referenceDeposit-Lizenz (Erstveröffentlichung)
tub.accessrights.dnbdomain
tub.affiliationFak. 4 Elektrotechnik und Informatik::Inst. Softwaretechnik und Theoretische Informatik::FG Methoden der Künstlichen Intelligenz
tub.publisher.universityorinstitutionTechnische Universität Berlin

Files

Original bundle
Now showing 1 - 1 of 1
Loading…
Thumbnail Image
Name:
galy-fajou_theo.pdf
Size:
15.55 MB
Format:
Adobe Portable Document Format
License bundle
Now showing 1 - 1 of 1
No Thumbnail Available
Name:
license.txt
Size:
4.23 KB
Format:
Item-specific license agreed upon to submission
Description:

Collections