Please use this identifier to cite or link to this item: http://dx.doi.org/10.14279/depositonce-10932
For citation please use:
Main Title: Machine learning methods for modeling gaze allocation in simple choice behavior and functional neuroimaging data on the level of the individual
Translated Title: Methoden des maschinellen lernens um Blickbewegungen in einfachen Entscheidungen und funktionellen Neuroimaging-Daten auf der Ebene des Individuums zu modellieren
Author(s): Thomas, Armin W.
Advisor(s): Müller, Klaus-Robert
Heekeren, Hauke R.
Referee(s): Müller, Klaus-Robert
Heekeren, Hauke R.
Poldrack, Russell A.
Granting Institution: Technische Universität Berlin
Type: Doctoral Thesis
Language Code: en
Abstract: The work presented in this thesis uses tools from machine learning, statistics, and computation to build analysis methods for capturing individual differences in two research questions from cognitive neuroscience. The first chapter of this thesis investigates the role of looking behavior in simple choices of individuals (e.g., deciding whether to eat an apple or a banana for breakfast). To this end, we introduce a decision model that allows us to study the association of looking behavior and choice on the level of the individual and in varying choice set sizes. By the use of this model, we provide empirical evidence that gaze allocation has an active influence on the decision process of the individual in choice situations with two to 36 choice alternatives, such that individuals are generally more likely to choose the alternative that they have looked at longer. We further demonstrate that the strength of this association varies between individuals and that accounting for this variability is necessary to accurately explain and predict individuals’ choice behavior. The second chapter of this thesis investigates the analysis of whole-brain functional Magnetic Resonance Imaging (fMRI) data through deep learning models. Over recent years, deep learning models have had strong empirical success due to their ability to learn complex behaviors and associate a target signal with variable patterns in high-dimensional and noisy datasets. This makes deep learning models well-suited for the analysis of fMRI data, where the mapping between cognitive state (e.g., deciding whether to accept or reject a risk) and brain activity can be widely spatially distributed and vary between individuals. To investigate the ability of deep learning models to capture this variability, we introduce and evaluate a framework for the analysis of fMRI data. This framework first uses a deep learning model to decode a cognitive state from a whole-brain fMRI volume. Subsequently, it relates the decoded cognitive state and fMRI data by the application of the layer-wise relevance propagation technique. We demonstrate that this framework can accurately decode a set of cognitive states from whole-brain fMRI data and identify a biologically plausible association between the decoded cognitive states and fMRI data. Importantly, it can do so on different levels of data granularity, from the level of the group down to the level of the individual and single time point. Lastly, we demonstrate that the performance of deep learning models in conventional fMRI datasets can be improved through transfer learning, by pre-training these models on large, publicly available fMRI datasets.
Ziel dieser Dissertation ist es, mithilfe von Methoden des maschinellen Lernens, der Statistik und Informatik, Analysemethoden zu entwickeln, die es erlauben individuelle Unterschiede in zwei Forschungsfragen der kognitiven Neurowissenschaft zu erfassen. Das erste Kapitel dieser Dissertation widmet sich der Rolle von Blickbewegungen in einfachen Entscheidungsprozessen des Individuums (z.B., die Entscheidung eine Banane oder einen Apfel zum Frühstück zu essen). Um diese Frage zu untersuchen, führen wir ein Entscheidungsmodell ein, das es erlaubt die Beziehung von Blickbewegungen und Entscheidungsverhalten auf der Ebene des Individuums zu untersuchen und das auf Entscheidungssituationen mit vielen Alternativen anwendbar ist. Mit diesem Modell zeigen wir, dass Blickbewegungen einen aktiven Einfluss auf das Entscheidungsverhalten des Individuums haben, so dass Individuen sich eher für diejenigen Alternativen entscheiden, die sie länger angesehen haben. Dieser Zusammenhang ist in Entscheidungssituationen mit wenigen und vielen Alternativen aufzufinden und variiert in seiner Stärke zwischen Individuen. Wir zeigen zudem, dass es notwendig ist diese individuellen Unterschiede zu berücksichtigen, um Entscheidungsverhalten akkurat erklären und vorhersagen zu können. Das zweite Kapitel dieser Dissertation widmet sich der Analyse von funktionellen Magnetresonanztomographie (fMRT) Daten durch tiefe neuronale Netzwerkse. Tiefe neuronale Netzwerke haben derzeit grossen empirischen Erfolg, durch ihre Fähigkeit komplexe Verhaltensweisen zu lernen und Signale mit variablen Mustern in hochdimensionalen und verrauschten Daten zu assoziieren. Aufgrund dieser Fähigkeit sind sie vielversprechend für die Analyse von fMRT Daten, da der Zusammenhang zwischen einem kognitiven Zustand (z.B., bei der Entscheidung eine risikoreiche Wette einzugehen oder abzulehnen) und der zugrundeliegenden Hirnaktivität räumlich weit verbreitet und zwischen Individuen variabel sein kann. Um die Fähigkeit tiefer neuronaler Netzwerke zu untersuchen diese Variabilität zu erfassen, führen wir eine Analysemethode für fMRT Daten ein. Diese Methode nutzt ein tiefes neuronales Netzwerk, um einen kognitiven Zustand aus fMRT Daten auszulesen. Im Anschluss, bringt sie diese Entscheidung mit den fMRT Daten in Verbindung, durch die Anwendung von layer-wise relevance propagation. Wir zeigen, dass diese Analysemethode in der Lage ist akkurat kognitive Zustände aus fMRT Daten zu erkennen und biologisch bedeutungsvolle Zusammenhänge zwischen diesen Zuständen und der zugrundeliegenden Hirnaktivität identifiziert. Wir zeigen zudem, dass die Leistung von tiefen neuronalen Netzwerken in konventionellen fMRT Datensätzen verbessert werden kann, indem man sie zuvor auf grossen, öffentlichen fMRT Datensätzen trainiert.
URI: https://depositonce.tu-berlin.de/handle/11303/12058
http://dx.doi.org/10.14279/depositonce-10932
Exam Date: 3-Nov-2020
Issue Date: 2020
Date Available: 16-Dec-2020
DDC Class: 500 Naturwissenschaften und Mathematik
004 Datenverarbeitung; Informatik
Subject(s): machine learning
deep learning
neuroimaging
choice behaviour
individual differences
maschinelles Lernen
tiefes Lernen
Neurobildgebung
Entscheidungsverhalten
individuelle Unterschiede
License: https://creativecommons.org/licenses/by-nc-nd/4.0/
Appears in Collections:FG Maschinelles Lernen » Publications

Files in This Item:
thomas_armin.pdf
Format: Adobe PDF | Size: 18.74 MB
DownloadShow Preview
Thumbnail

Item Export Bar

This item is licensed under a Creative Commons License Creative Commons