Loading…
Large-scale approximate EM-style learning and inference in generative graphical models for sparse coding
Shelton, Jacquelyn Ann
We propose a nonparametric procedure to achieve fast inference in generative graphical models when the number of latent states is very large. The approach is based on iterative latent variable preselection, where we alternate between learning a `selection function' to reveal the relevant latent variables, and using this to obtain a compact approximation of the posterior distribution for EM; this can make inference possible where the number of possible latent states is e.g. exponential in the number of latent variables, whereas an exact approach would be computationally infeasible. To increase the efficiency of our approach, we can draw samples from the compact approximate posterior distribution and compute the parameters in the M-step as usual. We refer to the procedure combining these two approximation methods as Select and Sample.
In numerical experiments on artificial data and image patches, we compare the performance of the algorithms to the performance of exact EM, latent variable preselection alone, sampling alone, and the combination of the two for the Select and Sample approach. For this Sparse Coding example we show the effectiveness and efficiency: it enables applications easily exceeding a thousand observed and a thousand hidden dimensions.
To apply the Select and Sample approach to a more complex model, we propose a novel, complex Sparse Coding model that targets low-level image structures, such as edges and their occlusions. The model uses a Spike-and-Slab prior distribution and has a nonlinearity in the data likelihood, both of which lead to a highly multimodal posterior distribution and computational/analytical intractabilities. We refer to this model as SSMCA. For adequate representation of the complex posterior, we develop an exact Gibbs sampler based on the exact form of the posterior distribution. Results on artificial and natural images show that SSMCA can model the generating process of images with occlusions, including extracting individual edge-like structures that occlude each other, and produce results that are neurally consistent with in vivo neural recordings and with the model's prior beliefs.
We learn the selection function entirely from the observed data and current EM state via Gaussian process regression, calling this method GP-select. This is by contrast with earlier approaches, where selection functions were manually-designed for each problem setting. We show that our approach performs as well as these bespoke selection functions on a wide variety of inference problems: in particular, for the challenging case of a hierarchical model for object localization with occlusion, we achieve results that match a customized state-of-the-art selection method, at a far lower computational cost.
Wir beschreiben ein nichtparametrisches Verfahren für schnelle Inferenz in generativen graphischen Modellen mit extrem großen latenten Zustandsräumen. Das Verfahren basiert auf iterativer Selektion der latenten Variablen. Zunächst wird eine `Selektionsfunktion' zur Aufdeckung von relevanten latenten Zuständen gelernt, welche im nächsten Schritt für eine kompakte Approximierung der a-posteriori Verteilung im EM Algorithmus verwendet wird. Dies ermöglicht Inferenz wenn die Anzahl der latenten Zustände exponentiell mit der Anzahl der latenten Variablen wächst. Für verbesserte Effizienz, können wir Stichproben von der a-posteriori Verteilung benutzen um damit im M-Schritt die Parameter stochastisch zu approximieren. Wir nennen den vorgestellten Algorithmus`Select and Sample'.
Wir vergleichen unseren Algorithmus mit den folgenden EM Varianten auf künstlichen Daten und Bildausschnitten: exakter EM, nur Vorselektion der latenten Variablen, nur stochastische Approximation, und die Kombination der beiden Approximationen des `Select and Sample' Verfahrens. Unser Beispiel belegt die Effizienz unserer Methode, die Inferenz mit tausenden Datenpunkten und latenten Dimensionen ermöglicht.
Um `Select and Sample' auf ein komplizierteres Modell anzuwenden, entwickeln wir ein neues complexes `Sparse Coding' Modell, welches auf gründsätzlichen Bildeigenschaften wie z.B. Kanten und deren überlagerung basiert. Unser Modell, genannt `SSMCA', nutzt eine `Spike-and-Slab' a-priori Verteilung und eine nicht-lineare Likelihoodfunktion, was in einer hochdimensionalen, multi-modalen a-posteriori Verteilung führt. Um die komplexe a-posteriori Verteilung genau vergleichen zu können entwickeln wir eine `Gibbs Sampling' Methode, welche genaue Form der Verteilung verwendet. Unsere Ergebnisse auf künstlichen und natürlichen Bildern zeigen, dass `SSMCA' den generativen Prozess der Bildern mit überlagerungen abbilden kann: Sowohl Kantenstrukturen als auch überlagerungen können extrahiert werden und sind neuronal plausibel.
Wir lernen die Selektionsfunktion ausschliesslich von den beobachteten Daten und dem aktuellen EM Zustand mittels Gauss Prozessen. Wir nennen diese Methode 'GP-Select'. Dies kontrastiert frühere Verfahren, bei denen die Selektionsfunktion per Hand für jedes Problem neu entwickelt werden musste. Wir zeigen, dass unsere Methode Ergebnisse produziert, die genauso gut wie die von Hand entwickelten Selektionsfunktionen sind -- auf einer Vielfalt von Inferenzproblemen. Unsere Ergebnisse im herausfordernden Fall von hierarchischen Modellen für Objektlokalisierung mit Uberlagerungen sind en-par mit einer speziell angepassten modernsten Selektionsmethode, bei deutlich reduzierter Rechenszeit.
