Modeling cognitive flexibility in alcohol dependence
| dc.contributor.advisor | Obermayer, Klaus | |
| dc.contributor.author | Balta Beylergil, Sinem | |
| dc.contributor.grantor | Technische Universität Berlin | en |
| dc.contributor.referee | Obermayer, Klaus | |
| dc.contributor.referee | Heinz, Andreas | |
| dc.contributor.referee | Sprekeler, Henning | |
| dc.date.accepted | 2016-09-19 | |
| dc.date.accessioned | 2016-09-30T08:28:46Z | |
| dc.date.available | 2016-09-30T08:28:46Z | |
| dc.date.issued | 2016 | |
| dc.description.abstract | Substance-dependent individuals often lack the ability to adjust decisions flexibly in response to changes in reward contingencies. Prediction error (PE), which signals the difference between expected and received outcomes, is thought to mediate flexible decision making by updating the reward values associated with available actions. In this thesis, I explored whether the neurobiological correlates of PEs are altered in alcohol dependence. Behavioral and functional magnetic resonance imaging (fMRI) data were simultaneously acquired from 34 abstinent alcohol-dependent patients (ADP) and 26 healthy controls (HC) during a probabilistic reward-guided decision making task with dynamically changing reinforcement contingencies. Using reinforcement learning and Bayesian learning models, I sought to capture the differences in underlying computations carried out by subjects in solving the current decision making problem. I used Bayesian inference methods to fit the models to behavioral data and to compare their fitting performance. The best-fitting model was a modified Rescorla-Wagner type model, which assumes that subjects integrate both actual and fictive outcomes into their decisions based on the information about the task structure that reward contingencies are anti-correlated. When I compared the free parameters of the best-fitting model between HC and ADP, I found that ADP had significantly lower punishment sensitivities, indicating that when faced with punishment, decisions of ADP failed to track the expected reward values of the options. Additionally, within ADP, highly severe patients were more sensitive to rewards, meaning that they almost always selected the action with the highest reward expectancy. When PEs derived from the best-fitting model were regressed against individual fMRI data, I detected a significantly weaker correlation between the PEs and the bilateral DLPFC activity in ADP. When positive and negative PEs were analyzed separately, the right DLPFC activity in ADP showed reduced correlation with positive PEs, which mediate the initiation of responses to formerly punished stimuli in the task. On the other hand, the left DLPFC activity showed reduced tracking of negative PEs facilitating the extinction of learned responses, the reduction being more prominent in highly severe ADP. In the final analysis, I used the PE signal as the moderator variable in a psychophysiological interactions (PPI) connectivity analysis. I found a reduced PE-dependent coupling in ADP between the bilateral DLPFC and other cortical regions including the medial prefrontal cortex (PFC) and the bilateral frontopolar PFC, which have been associated with flexible encoding of real and fictive outcome expectancies. On the other hand, an enhancement in PE-moderated connectivity was present in ADP between the left DLPFC and the right hippocampus (HPC) extending into the right parahippocampal cortex (PHC), suggesting that ADP may engage memory-related brain regions to compensate for the compromised cognitive flexibility. These results suggest that the DLPFC, which has been associated with adaptive control of action selection, may contribute to maladaptive reward-based decision making in alcohol dependence, possibly by reducing the effect of reward-related information on decisions. Additionally, given that an intact communication between the cortical regions is required for optimal decision making, in which responses match with the goals, these results suggest an association between impaired behavioral adaptation in alcohol dependence and disrupted learning-relevant information flow between the medial and lateral regions of the PFC. In conclusion, this thesis advances our understanding of the computational and neural processes underlying the compulsive use of alcohol despite adverse consequences, which seem to be often consciously acknowledged but behaviorally ignored by abusers. | en |
| dc.description.abstract | Drogenabhängige Individuen sind oftmals nicht in der Lage ihre Entscheidungen an veränderte Belohnungswahrscheinlichkeiten anzupassen. Vorhersagefehler (prediction error, PE), d.h. Unterschiede zwischen erwarteter und erhaltener Belohnung, ermöglichen flexible Entscheidungen indem sie signalisieren, dass die mit Handlungsalternativen assoziierten Belohnungen aktualisiert werden müssen. In dieser Promotionsarbeit habe ich mithilfe funktioneller Magnetresonanztomographie (fMRT) und mathematischer Verhaltensmodellierung untersucht ob und wie Alkoholsucht die neurobiologischen Korrelate des Vorhersagefehlers verändert. Abstinente alkoholabhängige Patienten (ADP, n = 34) und gesunde Individuen (HC, n = 26) nahmen teil an einer probabilistischen belohnungsgeleiteten Entscheidungsaufgabe mit dynamischen Belohnungswahrscheinlichkeiten, während Verhaltens –und fMRT-Daten erhoben wurden. Im ersten Teil dieser Arbeit habe ich mithilfe von Bayesianischen Lernmodellen und Modellen des bestärkenden Lernens dem Entscheidungsprozess unterliegenden Prozesse untersucht. Ein bayesscher Modellvergleich zeigte, dass ein Modell des Typs Rescorla-Wagner die Verhaltensdaten am Besten beschreiben konnte. Dieses Modell nimmt an, dass Probanden die Antikorrelation von Belohngswahrscheinlichkeiten erschließen und sowohl tatsächliche als auch fiktive Ergebnisse in ihre Entscheidungen integrieren. Ein Vergleich der freien Parameter dieses Modells zwischen Gruppen ergab, dass ADP weniger empfindlich für Bestrafungen sind als HC. Dies bedeutet, dass ADP ihre Entscheidungen in Reaktion auf negative PEs nicht hinreichend aktualisieren um die neuen Belohnungswahrscheinlichkeiten in ihr Verhalten zu integrieren. Zudem waren innerhalb der ADP-Gruppe Patienten mit besonders schwerwiegenden Symptomen empfindlicher für positive Belohnungen, d.h. sie wählten fast immer die Option mit höchster Belohnungswahrscheinlichkeit. Im zweiten Teil meiner Arbeit korrelierte ich die aus dem Modell berechneten PEs mit den individuellen FMRT-Daten. Diese Analyse zeigte eine signifikant schwächere Korrelation in ADP als in HC zwischen PEs und Gehirnaktivität in bilateralem dorso-lateralem Prefrontallappen (DLPFC). Eine separate Analyse positiver und negativer PEs ergab in ADP eine verringerte Korrelation zwischen der Aktivierung des rechten DLPFC und positiven PEs, welche die Auswahl von bis dahin bestraften Handlungsalternativen initiieren. Negative PEs, die die Auslöschung gelernter Entscheidungen bestärken, waren mit Aktivierung im linken DLPFC korreliert. Jedoch war auch diese Korrelation in ADP reduziert und bei Patienten mit schweren Symptomen besonders ausgeprägt. Im letzten Teil meiner Arbeit nutzte ich den PE als Moderatorvariable in einer psychophysiologischen Interaktionsanalyse. Die Ergebnisse zeigten in ADP einen verringerten Zusammenhang zwischen dem bilateralen DLPFC und anderen kortikalen Regionen, insbesondere dem medialen PFC, und den bilateralen fronto-polarem PFC. Diese zwei Regionen wurden in früheren Studien mit der flexiblen Enkodierung realer und fiktiver Verhaltenskonsequenzen assoziert. Desweiteren war in ADP die durch PE moderierte Konnektivität zwischen dem linken DLPFC und dem rechten Hippocampus und Parahippocampus verstärkt. Dies legt nahe, dass ADP einen Mangel an kognitiver Flexibilität durch den Einsatz von Gedächtnisprozessen ausgleichen. Insgesamt deuten diese Ergebnisse darauf hin, dass der DLPFC, der in früheren Studien mit adaptiver Kontrolle von Handlungsauswahl assoziiert wurde, den Effekt von Belohnungssignalen auf Entscheidungen reduziert und dadurch zu mangelhafter Anpassung von Entscheidungen in Alkoholabhängigkeit beiträgt. Da intakte Kommunikation zwischen kortikalen Regionen für optimale Entscheidungsfindung notwendig ist, deuten die vorliegenden Ergebnisse auch auf einen Zusammenhang zwischen beeinträchtigter Verhaltensanpassung in Alkoholabhängigkeit und gestörtem Informationsfluss zwischen medialem und lateralem PFC. Insgesamt liefern diese Ergebnisse neue Einsichten in die der Alkoholsucht zugrundeliegenden theoretischen und neuronalen Prozesse. Insbesondere zeigen sie mögliche Mechanismen auf, welche dazu führen, dass alkoholabhängige Individuen ihre Sucht aufrechterhalten, obwohl sie sich der negativen Konsequenzen von Alkoholabhängigkeit bewußt sind. | de |
| dc.description.sponsorship | DFG, GRK 1589/1, Sensory Computation in Neural Systems | en |
| dc.identifier.uri | https://depositonce.tu-berlin.de/handle/11303/5914 | |
| dc.identifier.uri | http://dx.doi.org/10.14279/depositonce-5507 | |
| dc.language.iso | en | en |
| dc.rights.uri | https://creativecommons.org/licenses/by-nc-nd/4.0/ | en |
| dc.subject.ddc | 616 Krankheiten | de |
| dc.subject.other | alcohol addiction | en |
| dc.subject.other | reinforcement learning | en |
| dc.subject.other | decision making | en |
| dc.subject.other | prefrontal cortex | en |
| dc.subject.other | Bayesian modeling | en |
| dc.subject.other | Alkoholabhängigkeit | de |
| dc.subject.other | Entscheidungsbildung | de |
| dc.subject.other | bestärkendes Lernen | de |
| dc.subject.other | präfrontaler Kortex | de |
| dc.subject.other | Bayesianische Modellierung | de |
| dc.title | Modeling cognitive flexibility in alcohol dependence | en |
| dc.title.translated | Modellierung kognitiver Flexibilität in der Alkoholabhängigkeit | de |
| dc.type | Doctoral Thesis | en |
| dc.type.version | acceptedVersion | en |
| tub.accessrights.dnb | free | en |
| tub.affiliation | Fak. 4 Elektrotechnik und Informatik::Inst. Softwaretechnik und Theoretische Informatik | de |
| tub.affiliation.faculty | Fak. 4 Elektrotechnik und Informatik | de |
| tub.affiliation.institute | Inst. Softwaretechnik und Theoretische Informatik | de |
| tub.publisher.universityorinstitution | Technische Universität Berlin | en |