Loading…
Bayesian inference of inhomogeneous point process models
methodological advances and modelling of neuronal spiking data
Donner, Christian
Arrival times of airplanes, positions of car accidents or astronomical objects in space, locations of ecological crisis, spike times of neurons, etc. are all data that surround us and can be viewed as realisations of point processes. Nowadays, the modelling of these data becomes increasingly more important, when we attempt to draw meaningful conclusions from this ever expanding amount of data. Models describing the statistics of point process data have been proposed in the past. However, to extract the model parameters given the observation of point process data, is generally challenging. Point process likelihoods of the observed data given the model parameters are difficult to deal with in practice because of their functional form. For Bayesian inference, where we aim at a tractable posterior distribution over the model parameters given the data, the task is even more demanding.
In the first part of this thesis we focus on a specific model class for point process data. The central object of point process models is the non–negative intensity function, which determines the likelihood of registering an event at any given position in the observed space. To enforce non–negativity, point process models have been proposed, where the intensity function depends non–linearly on the model parameters via a scaled sigmoidal link function. By the augmentation of latent variables we show, that the likelihood of this model class can be rendered into a novel favourable form enabling efficient and fast Bayesian inference schemes for a tractable posterior over the model parameters. We utilise this new augmented form of the likelihood to perform inference for a Poisson process model, where the intensity function depends on a Gaussian process. The resulting algorithms are one order of magnitude faster than state-of-the-art methods solving the same problem. Furthermore, we show that the same algorithms can be utilised for Bayesian density estimation, i.e. inferring a posterior over densities for an observed set of points. Concluding the first part, the inference problem for a Markov jump process model, namely the kinetic Ising model from statistical physics, is addressed using the new favourable representation of point process likelihoods.
The second part of the thesis is devoted to the statistical description of a specific instance of point process data – the cell-resolved spiking activity of neurons. These data are believed to reflect the information processing in the brain, and are highly non–stationary. We address the problem of statistical modelling such non–stationary spiking data. First, we propose a continuous time model accounting for effective couplings and temporal changes of the neuronal dynamics. Deriving an efficient inference algorithm, we demonstrate that the model can capture activity structures of in–vivo recorded data, that are not related to any controlled variables of the experiment. Finally, we propose a model which attempts to minimise the gap to the underlying system, based on the assumption of observing a population of integrate–and–fire neurons receiving common non–stationary input. We demonstrate how to efficiently evaluate the model likelihood, such that subsequent inference can be performed given spiking data recorded from a neuronal population.
The novel scalable inference algorithms for point process data, and the new description of non–stationary spiking data presented in this thesis expand our ability to investigate large and complex point process datasets and draw meaningful conclusions from these data.
Ankunftszeiten von Flugzeugen, Positionen von Autounfällen oder astronomischen Objekten im Weltraum, Orte von ökologischen Katastrophen, Impulse von Neuronen usw. sind allesamt Daten, die uns umgeben und als Realisierung von Punktprozessen betrachtet werden können. Die Modellierung dieser Daten wird heutzutage immer wichtiger, wenn wir versuchen, aus dieser ständig wachsenden Datenmenge aussagekräftige Schlüsse zu ziehen. In der Vergangenheit wurden Modelle zur statistischen Beschreibung von Punktprozessdaten vorgeschlagen. Die Extraktion der Modellparameter bei der Beobachtung von Punktprozessdaten ist jedoch in der Regel eine Herausforderung. Die Punktprozessdichte der beobachteten Daten gegeben der Modellparameter, auch Likelihood-Funktion genannt, ist in der Praxis schwer zu handhaben aufgrund ihrer funktionalen Form. Für eine Bayes’sche Inferenz, bei der wir eine posteriore Verteilung über gewonnenen Modellparameter gegeben der Daten anstreben, ist die Aufgabe noch anspruchsvoller.
Im ersten Teil dieser Arbeit konzentrieren wir uns auf eine bestimmte Modellklasse für Punktprozessdaten. Das zentrale Objekt von Punktprozessmodellen ist die nichtnegative Intensitätsfunktion, die die Wahrscheinlichkeit bestimmt, ein Ereignis an einer beliebigen Stelle im Raum zu beobachten. Um die Nicht-Negativität zu gewährleisten, wurden Punktprozessmodelle vorgeschlagen, bei denen die Intensitätsfunktion nicht-linear von den Modellparametern über eine skalierte sigmoide Funktion abhängt. Mit einer Modellaugmentation durch latente Variablen zeigen wir, dass die Punktprozessdichte dieser Modellklasse in eine neuartige, vorteilhafte Form gebracht werden kann, die effiziente und schnelle Bayes’sche Inferenzalgorithmen ermöglicht für eine praktisch nutzbare posteriore Verteilung über die Modellparameter. Wir nutzen diese neue augmentierte Darstellung der Likelihood-Funktion, um Inferenz für ein Poisson-Prozessmodell durchzuführen, bei dem die Intensitätsfunktion von einem Gaußprozess abhängt. Die resultierenden Algorithmen sind um eine Größenordnung schneller als moderne Methoden, die das gleiche Problem lösen. Anschließend zeigen wir, dass die gleichen Algorithmen verwendet werden können für eine Bayes’sche Dichteschätzung, d.h. die Inferenz einer posterioren Verteilung über die Dichte gegeben eine beobachtete Menge von Punkten. Abschließend wird das Inferenzproblem für ein Markov-Sprung-Prozessmodell, nämlich das kinetische Ising-Modell aus der statistischen Physik, mit der neuen augmentierten Darstellung der Likelihood-Funktion angegangen.
Der zweite Teil der Arbeit widmet sich der statistischen Beschreibung einer bestimmten Instanz von Punktprozessdaten - der zellaufgelösten Spiking-Aktivität von Neuronen, die im Allgemeinen nicht stationär ist. Wir befassen uns mit dem Problem der statistischen Modellierung solcher nicht stationärer Spiking-Daten. Zunächst schlagen wir ein kontinuierliches Zeitmodell vor, das effektive neuronale Kopplungen und zeitliche Veränderung der Daten berücksichtigt. Mit Hilfe der Herleitung eines effizienten Inferenzalgorithmus zeigen wir, dass die inferierten Modellparameter Aktivitätsstrukturen von in–vivo aufgezeichneten Daten aufzeigen können, die nicht mit den kontrollierten Variablen des Experiments verbunden sind. Schließlich schlagen wir ein Modell vor, das versucht, den Abstand zum zugrunde liegenden System zu minimieren, basierend auf der Annahme, dass die Population von Integrate-and-Fire Neuronen beobachtet wird, die einen gemeinsamen nicht-stationären Input erfährt. Wir zeigen, wie man die Modell-Likelihood-Funktion effizient evaluiert, so dass mit Hilfe von Spikingdaten, die von einer neuronalen Population aufgenommen wurden, eine nachfolgende Inferenz durchgeführt werden kann.
Die neuartigen skalierbaren Inferenzalgorithmen für Punktprozessdaten und nicht stationäre Spiking-Daten erweitern unsere Möglichkeiten, große und komplexe Punktprozessdatensätze zu untersuchen und aus diesen Daten neue und aussagekräftige Schlussfolgerungen zu ziehen.
Has Part
