A statistical physics approach to inference problems on random networks
| dc.contributor.advisor | Opper, Manfred | |
| dc.contributor.author | Bachschmid Romano, Ludovica | |
| dc.contributor.grantor | Technische Universität Berlin | en |
| dc.contributor.referee | Opper, Manfred | |
| dc.contributor.referee | Berg, Johannes | |
| dc.contributor.referee | Saad, David | |
| dc.date.accepted | 2017-12-15 | |
| dc.date.accessioned | 2018-12-19T10:14:54Z | |
| dc.date.available | 2018-12-19T10:14:54Z | |
| dc.date.issued | 2018 | |
| dc.description.abstract | Recent advances in measurement technologies have resulted in the availability of large datasets from a variety of fields spanning the natural and social sciences. This posed the challenge to develop new statistical tools to extract relevant information from the data. A paradigmatic model that has been successfully applied to analyze large datasets is the Ising model of binary spins interacting through pairwise connections. In this thesis, we use methods of statistical physics to tackle several open problems related to modelling the stochastic dynamics of the Ising model and reconstructing the unknown net- work of interactions from data. First, we derive a novel mean-field solution to the discrete time parallel dynamics of the Ising model, based on a weak coupling expansion of the log-generating function with constrained first and second order moments over time, the result of which outperforms other mean field techniques in predicting single site magnetization. Next, for both the equilibrium and kinetic models, we analyze the inverse problem of learning the couplings between the variables based on a set of observations on spin configurations. Using the cavity and replica methods of statistical physics, we compare the performance of different inference algorithms, by analytical computation of the estimation error as a function of the size of the dataset, and study its deviation from asymptotic optimality. We also derive optimal algorithms for learning the couplings. Finally, we consider the case where a subset of the spin trajectories is observed while the rest are hidden. This enabled us to model systems where only a finite fraction of the system is experimentally accessible, but allowed the hidden variables to affect the dynamics of the observed variables. A central question is the prediction of the hidden spin state when the couplings are known. For the average case scenario, we investigate the theoretically optimal performance for predicting hidden spins by computing the error of the Bayes optimal predictor. We also derive a mean- field formalism to accurately estimate the single-site magnetisation of hidden spins for single instances of the network. | en |
| dc.description.abstract | Die verfügbare Datenmenge in Gebieten der Natur- und Sozialwissenschaften wächst stetig durch den technischen Fortschritt bei Methoden zur Datenerhebung. Dieser Zuwachs ist eine Herausforderung für Algorithmen, die Daten auf relevanten Informationen reduziert. Ein paradigmatisches Modell, das mit Erfolg auf große Datenmengen angewendet wurde, ist das “Ising Modell” für binäre Spins, welche durch paarweise Wechselbeziehungen voneinander abhängig sind. In dieser Arbeit verwenden wir Methodik der statistischen Physik zur Lösung verschiedener offener Probleme, verbunden mit der Modellierung stochastischer Dynamik und der Rekonstruktion unbekannter Netzwerke durch Interaktionen, welche in Daten beobachtet werden. Als erstes leiten wir eine neue “Mean-field” Lösung her für die zeitdiskrete parallele Dynamik des Ising Modells. Hierzu entwickeln wir die logarithmische Moment generierende Funktion in den schwachen Kopplungen bedingt auf ersten und zweiten Momenten an jedem Zeitpunkt. Weiterhin untersuchen wir das inverse Ising Problem für sowohl das Gleichgewicht als auch das kinetische Modell. Das heißt, wir analysieren das Lernen der Kopplungen zwischen Variablen gegeben ein Set von Beobachtungen. Durch den Gebrauch von “Cavity-” und “Replikamethoden” aus der statistischen Physik vergleichen wir verschiedene Inferenzalgorithmen durch analytische Berechnung des Schätzfehlers abhängig von der Menge der verfügbaren Daten und untersuchen die Abweichungen dieser von der optimalen Asymptotik. Außerdem leiten wir optimale Algorithmen zum Lernen der Kopplungen her. Am Ende betrachten wir den Fall, in dem ein Teil der Spintrajektorien bekannt ist, während ein Teil nicht beobachtet wird. Dies erlaubt uns Systeme zu modellieren, die uns experimentell nur unvollständig zugänglich sind, unter Berücksichtigung, dass die unbeobachteten Variablen die beobachteten Dynamiken beeinflussen können. Von zentraler Bedeutung ist die Vorhersage des Zustands der nicht beobachteten Spins, wenn die Kopplungen bekannt sind. Für den gemittelten Fall untersuchen wir das theoretisch optimale Ergebnis zur Vorhersage der nicht beobachteten Spins durch berechnen des Fehlers eines Bayes optimalen Prädiktors. Wir leiten einen “Mean-field” Formalismus für einzelne Instanzen von Netzwerken her, um die marginale Magnetisierung der nicht beobachteten Spins präzise zu schätzen. | de |
| dc.identifier.uri | https://depositonce.tu-berlin.de/handle/11303/8374 | |
| dc.identifier.uri | http://dx.doi.org/10.14279/depositonce-7523 | |
| dc.language.iso | en | en |
| dc.rights.uri | http://rightsstatements.org/vocab/InC/1.0/ | en |
| dc.subject.ddc | 519 Wahrscheinlichkeiten, angewandte Mathematik | de |
| dc.subject.ddc | 539 Moderne Physik | de |
| dc.subject.other | computational neuroscience | en |
| dc.subject.other | information theory | en |
| dc.subject.other | machine learning, | en |
| dc.subject.other | statistical physics | en |
| dc.subject.other | computationale Neurowissenschaft | de |
| dc.subject.other | Informationstheorie | de |
| dc.subject.other | maschinelles Lernen | de |
| dc.subject.other | Stochastik | de |
| dc.title | A statistical physics approach to inference problems on random networks | en |
| dc.title.subtitle | Ising and kinetic Ising models | en |
| dc.title.translated | Ein Ansatz der statistischen Physik zu Inferenzproblemen in Zufallsnetzwerken | de |
| dc.title.translatedsubtitle | Ising- und kinetisches Ising-Modell | de |
| dc.type | Doctoral Thesis | en |
| dc.type.version | acceptedVersion | en |
| tub.accessrights.dnb | domain | en |
| tub.affiliation | Fak. 4 Elektrotechnik und Informatik::Inst. Softwaretechnik und Theoretische Informatik | de |
| tub.affiliation.faculty | Fak. 4 Elektrotechnik und Informatik | de |
| tub.affiliation.institute | Inst. Softwaretechnik und Theoretische Informatik | de |
| tub.publisher.universityorinstitution | Technische Universität Berlin | en |