Machine learning approximation of Bayesian inference in nuclear fusion research
| dc.contributor.advisor | Svensson, Jakob | |
| dc.contributor.author | Pavone, Andrea | |
| dc.contributor.grantor | Technische Universität Berlin | en |
| dc.contributor.referee | Breitschwerdt, Dieter | |
| dc.contributor.referee | Wolf, Robert | |
| dc.contributor.referee | Sonnendrücker, Eric | |
| dc.date.accepted | 2020-10-05 | |
| dc.date.accessioned | 2020-10-28T12:53:43Z | |
| dc.date.available | 2020-10-28T12:53:43Z | |
| dc.date.issued | 2020 | |
| dc.description.abstract | Machine learning algorithms, especially neural networks, are commonly used to automatically find and encode unknown relationships between sets of related data. They have been applied to problems in different fields, including the interpretation of data in scientific experiments. In this thesis, I consider the case where the relationship between a set of observed data and modeling parameters is known and formalized in a Bayesian model, and I show that neural networks can be trained to learn the relationship between the quantities defined by the model joint distribution. In this way, the network constitutes an approximation of the original Bayesian model. Two cases are considered: the case where the network is trained to approximate the mapping between the observable quantities and the free parameters, and between the joint space of both observables and free parameters, and the joint probability distribution value. Neural network approximate models can be particularly useful in the context of large scientific experiments, like the nuclear fusion experiments considered here. The trained network can be used to accelerate the Bayesian inference process carried out on experimental data by providing a fast approximate reconstruction of relevant quantities. Here, I consider the application of the network to the reconstruction of different plasma parameters from measured diagnostic data collected at two large fusion experiments, the Wendelstein 7-X stellarator and the Joint European Torus tokamak. When analysing experimental data, it is crucial to provide information about the reliability of the network reconstruction for further usages of the results. For this reason, I show here how uncertainties can be estimated with two different approaches, both based on a Bayesian interpretation of the training process. The approximation method developed here is general in the sense that its implementation and validity is not bound to a specific model or experiment. Especially, if the Bayesian models to be approximated are implemented within the Minerva Bayesian modeling framework, their joint distributions can be easily accessed and used to generate training samples in a manner that is common among different models. This opens the possibility to an entirely automatic procedure, where machine learning models are automatically generated and trained to approximate any scientific model, constituting a step further towards the automation of general scientific inference. | en |
| dc.description.abstract | Algorithmen für Maschinelles Lernen, insbesondere neuronale Netze, werden üblicherweise verwendet, um unbekannte Beziehungen zwischen verwandten Datensätzen automatisch zu finden und zu beschreiben. Diese wurden bereits in verschiedenen Bereichen auf geeignete Probleme angewendet, einschließlich der Interpretation von Daten in wissenschaftlichen Experimenten. In dieser Arbeit betrachte ich eine Anwendung, in der die Beziehung zwischen einem Satz beobachteter Daten und Modellierungsparametern bekannt und in einem Bayesschen Modell formalisiert ist. Ich zeige, dass neuronale Netze trainiert werden können, um die Beziehung zwischen den durch das Modell definierten gemeinsamen Wahrscheinlichkeitsverteilungen zu lernen. Auf diese Weise stellt das Netzwerk eine Approximation an das ursprüngliche Bayessche Modell dar. Es werden zwei Fälle betrachtet: einerseits der Fall, in dem das Netzwerk trainiert wird, um die Abbildung zwischen den beobachtbaren Größen und den freien Parametern, sowie der Fall, die Abbildung zwischen dem gemeinsamen Raum von beobachtbaren und freien Parametern und dem Wert der gemeinsamen Wahrscheinlichkeitsverteilung zu approximieren. Approximationen durch neuronale Netze können besonders im Zusammenhang mit großen wissenschaftlichen Experimenten, wie den hier betrachteten Kernfusionsexperimenten, nützlich sein. Das trainierte Netzwerk kann verwendet werden, um den Bayesschen Deduktionsprozess zu beschleunigen, der auf experimentelle Daten angewendet wird, indem eine schnelle approximative Rekonstruktion relevanter Größen bereitgestellt wird. Hier betrachte ich die Anwendung des Netzwerks auf die Rekonstruktion verschiedener Plasmaparameter aus gemessenen Diagnostikdaten zweier großer Fusionsexperimente, dem Stellarator Wendelstein 7-X und dem Tokamak Joint European Torus. Bei der Analyse experimenteller Daten ist es wichtig, Informationen über die Zuverlässigkeit der Rekonstruktion durch das Netzwerk bereitzustellen, um die Ergebnisse anderweitig nutzen zu können. Aus diesem Grund zeige ich in dieser Arbeit, wie Unsicherheiten mit zwei verschiedenen Ansätzen abgeschätzt werden können, die beide auf einer Bayesschen Interpretation des Trainingsprozesses basieren. Die hier entwickelte Approximationsmethode ist allgemeingültig in dem Sinne, dass ihre Implementierung und Gültigkeit nicht an ein bestimmtes Modell oder Experiment gebunden ist. Insbesondere wenn die zu approximierenden Bayesschen Modelle innerhalb des Bayesschen Modellierungsframeworks Minerva implementiert sind, können ihre gemeinsamen Wahrscheinlichkeitsverteilungen leicht berechnet und verwendet werden, um Trainingsmuster auf eine Weise zu generieren, die für verschiedene Modelle identisch ist. Dies eröffnet die Möglichkeit eines vollautomatischen Verfahrens, bei dem auf maschinellem Lernen basierende Modelle automatisch generiert und trainiert werden, um beliebige wissenschaftliche Modelle zu approximieren. Dies ist ein weiterer Schritt in Richtung automatischer Bearbeitung wissenschaftlicher Fragestellungen. | de |
| dc.identifier.uri | https://depositonce.tu-berlin.de/handle/11303/11746 | |
| dc.identifier.uri | http://dx.doi.org/10.14279/depositonce-10634 | |
| dc.language.iso | en | en |
| dc.rights.uri | http://rightsstatements.org/vocab/InC/1.0/ | en |
| dc.subject.ddc | 530 Physik | de |
| dc.subject.other | nuclear fusion | en |
| dc.subject.other | machine learning | en |
| dc.subject.other | Bayesian inference | en |
| dc.subject.other | artificial neural networks | en |
| dc.subject.other | plasma physics | en |
| dc.subject.other | Kernfusion | de |
| dc.subject.other | maschinelles Lernen | de |
| dc.subject.other | Bayessche Folgerung | de |
| dc.subject.other | künstliche neuronale Netze | de |
| dc.subject.other | Plasmaphysik | de |
| dc.title | Machine learning approximation of Bayesian inference in nuclear fusion research | en |
| dc.title.translated | Approximation der Bayes'schen Inferenz durch maschinelles Lernen in der Kernfusionsforschung | de |
| dc.type | Doctoral Thesis | en |
| dc.type.version | acceptedVersion | en |
| tub.accessrights.dnb | domain | en |
| tub.affiliation | Fak. 2 Mathematik und Naturwissenschaften::Zentrum für Astronomie und Astrophysik | de |
| tub.affiliation.faculty | Fak. 2 Mathematik und Naturwissenschaften | de |
| tub.affiliation.institute | Zentrum für Astronomie und Astrophysik | de |
| tub.publisher.universityorinstitution | Technische Universität Berlin | en |