Loading…
Thumbnail Image

Algebraic statistics of Gaussian mixtures

Améndola Cerón, Carlos Enrique

FG Diskrete Mathematik / Geometrie

In this work we study the statistical models known as Gaussian mixtures from an algebraic point of view. First, we illustrate how algebraic techniques can be useful to address funda- mental questions on the shape of Gaussian mixture densities, namely the problem of determining the maximum number of modes a mixture of Gaussians can have, depending on the number of components and the dimension. We proceed to look at the statistical problem of estimation of the parameters of a Gaussian mixture. We present and compare the prominent methods of maximum likelihood estimation and moment matching, and from this study a fundamental difference in algebraic complexity is revealed between the two approaches. With the above statistical motivations, we introduce the algebraic objects that will permit us to obtain statistical inference results, mainly on the identifiability problem. These objects are Gaussian moment varieties and their corresponding secant varieties. We study them by asking for their dimension, for their degree and for the equations that define them. We provide many answers, conjectures and open questions in this direction. Finally, we explore further connections and analogues to algebraic geometry from commonly used submodels of statistical interest. We compare what we learn from the algebraic perspective to recent tensor decomposition methods in the ma- chine learning community. Throughout, we mention current research directions that continue the effort of including Gaussian densities and their mixtures in algebraic statistics.
In dieser Arbeit studieren wir die statistischen Modelle, die als zusammengeset- zte Normalverteilungen oder auch als Gaußsche Mischverteilungen bekannt sind, vom algebraischen Standpunkt aus. Zunächst betrachten wir, wie algebraische Methoden dabei helfen können, grund- legende Fragen über die Form der Dichte einer solchen Verteilung zu klären: Zum Beispiel wollen wir die Anzahl lokaler Maxima bestimmen, die eine Mischung von Gaußverteilungen, abhängig von der Anzahl der Komponenten sowie der Dimen- sion, höchstens haben kann. Anschließend beschäftigen wir uns mit der statistischen Fragestellung, wie man die Modellparameter (Erwartungswerte und Varianzen der Komponenten sowie deren Gewichte) bestimmen kann. Wir vergleichen die gängigen Methoden: die Maximum-Likelihood-Methode und die Momentenmethode. Dieser Vergleich of- fenbart einen grundlegenden Unterschied in der algebraischen Komplexität zwis- chen den beiden Ansätzen. Motiviert durch diese statistischen Erkenntnisse führen wir diejenigen algebrais- chen Objekte ein, die uns statistische Ergebnisse – hauptsächlich zum Identifizier- barkeitsproblem – liefern: die Gaußschen Momentenvarietäten und deren Sekan- tenvarietäten. Wir untersuchen ihre Dimension sowie ihren Grad und die alge- braischen Gleichungen, die sie definieren. Wir beantworten viele dieser Fragen und formulieren weitere offene Fragen und Vermutungen. Schließlich erforschen wir Verbindungen und Analogien zur algebraischen Ge- ometrie aus gängigen Untermodellen, die von statistischer Relevanz sind. Wir vergleichen unsere Erkenntnisse aus der Perspektive der algebraischen Geometrie mit modernen Tensor-Zerlegungsmethoden aus dem Bereich des maschinellen Ler- nens. Wir verweisen durchgehend auf vielversprechende Forschungsfragen, die Nor- malverteilungen und deren Mischverteilungen in die Algebraische Statistik mitein- beziehen.