Loading…
Thumbnail Image

Coding of low-dimensional variables with spiking neural networks

Koren, Veronika

Spikes, extremely precise temporal signals, are believed to be the main mean of communication between neurons. However, it is at present unclear how can be the information, contained in spike timing, utilized for encoding of low-dimensional variables. Based on work by Boerlin, Machens and Deneve (Boerlin et al. 2013), we derive a functional model of spiking neural activity that exploits information in spike timing. The model represents an arbitrary low-dimensional variable by tracking its inputs with its spiking activity, and a spike is produced whenever this improves the estimation of the input signal. Precise spike timing is a build-in feature of such a model, and is an alternative to bottom-up descriptions of neural dynamics. Coding functionality is based on a geometric description, where each neuron is attributed a coding weight that determines neuron's role for representation, computed at the network level. Coding weight determines how does the neuron weight its inputs, what is the effect of neuron's spike on connected neurons, as well as on the read-out of spiking activity. Even if many neurons share the same coding weight, and are therefore redundant in their coding function, the design of the network ensures that spiking activity is nevertheless efficient. We show that maximally efficient regime for coding coincides with asynchronous spiking, interspersed with occasional synchronized bursts, and show how recurrent and lateral connections generate these bursts. In the rest of the thesis, we study decoding models on parallel spike trains in behaving monkey, performing a visual discrimination task on binary stimulus classes. While decision-making is traditionally studied with respect to the neural activity in high-level, decision-making areas, we instead decode correct choice behavior from the spiking activity in sensory areas V1 and V4. We show that a linear classifier on parallel spike counts predicts animal's behavior better than chance. From the classification model, we compute decoding weights, that tell what is the role of each neuron within the population for the classification task. We show that, in particular in V4, decoding weights allow various insights into the structure of pair-wise interactions and coupling of the activity of single neurons with the population. First, we show that in V4, neurons with strong weights are more strongly coupled, synchronized and correlated than uninformative neurons. Second, we show that coupling, synchrony and correlations are stronger between neurons with the same sign of the weight compared to others. Finally, we show that correlations between neurons with the same sign of the weight decrease the performance of the decoder. We proceed by building a biologically interpretable model of the read-out of parallel spike trains in single trials. We compute the synaptic current of a read-out neuron that receives synaptic inputs from a population of projecting neurons. We assume that spikes are weighted by a vector of decoding weights, where decoding weights reflect the role of each neuron for the computation at the network level. Resulting signal allows to predict the choice behavior of the animal, while simpler methods as the population PSTH entirely fail to do so. Disentangling superficial, middle and deep layer of the cortex, we show that in both V1 and V4, superficial layers are the most important for discrimination. We also show that the read-out signal of neurons with positive and negative weights is negatively correlated. During the experiment, the animal is rewarded for correct behavior. The representation of the behavioral choice, however, must also take place when the choice is incorrect. We ask whether the decoding model, trained in the presence of the information on both stimulus and choice (e.g., correct choice), generalizes to decoding in the context of choice alone. We show that such generalization takes place in V1, but fails in V4. In V1, in particular, the choice signal can be discriminated during the second half of the trial. Similarly to decoding stimulus and choice, the choice signal is the strongest in the superficial layer of the cortex and the read-out of neurons with positive and negative weights is negatively correlated. In contrast to decoding of stimulus and choice, decoding of choice requires the information on spike timing. In general, these results show the similarity of representation of stimulus classes and corresponding behavioral choices in the primary visual cortex of the macaque.
Nerven-Aktionspotentiale sind extrem präzise zeitliche Signale und gelten als das wichtigste Kommunikationsmittel zwischen Neuronen. Es ist jedoch derzeit unklar, wie die Informationen, die im Spike-Timing enthalten sind, für die Kodierung von niedrigdimensionalen Variablen verwendet werden können. Wir leiten ein funktionales Modell der neuronalen Aktivität ab, das Informationen im Spike-Timing nutzt. Das Modell stellt eine beliebige niedrigdimensionale Variable dar, indem es seine Eingänge mit seiner Spike-Aktivität verfolgt. Ein Spike wird erzeugt wenn dies die Schätzung des Eingangssignals verbessert. Präzises Spike-Timing ist ein integrales Merkmal eines solchen Modells und stellt eine Alternative zu Bottom-up-Beschreibungen neuronaler Dynamiken dar. Die Kodierungsfunktionalität basiert auf einer geometrischen Beschreibung, wobei jedem Neuron ein Kodierungsgewicht zugeordnet wird, das die Rolle des Neurons für die Darstellung bestimmt, die auf Netzwerkebene berechnet wird. Die Kodierungsgewichtung bestimmt, wie das Neuron seine Eingangssignale gewichtet, wie sich erzeugte Spikes auf verbundene Neuronen sowie auf das Auslesen der Spike-Aktivität auswirken. Auch wenn viele Neuronen das gleiche Kodierungsgewicht erhalten und daher in ihrer Kodierungsfunktion redundant sind, stellt das Design des Netzwerks sicher, dass die Spiking-Aktivität dennoch effizient ist. Wir zeigen, dass ein maximal effizientes Kodierungssystem mit asynchronem Spiking zusammenfällt, unterbrochen von gelegentlichen synchronisierten Bursts, und zeigen, wie wiederkehrende und laterale Verbindungen diese Bursts erzeugen. Im Rest der Arbeit untersuchen wir Decodierungsmodelle auf parallelen Spike-Abfolgen im Verhalten von Affen, die eine visuelle Unterscheidungsaufgabe auf binäre Stimulusklassen durchführen. Wir dekodieren das korrekte Auswahlverhalten bei parallelen Spike-Zählungen mit einem linearen Modell, das es ermöglicht, den Vektor der Dekodierungsgewichte für jedes Neuron innerhalb der Population zu berechnen. Wir zeigen, dass die Population das Verhalten von Tieren besser vorhersagt als einzelne Neuronen, und dass die heterogene Struktur der neuronalen Reaktionen wesentlich zu dieser Leistungssteigerung beiträgt. Als nächstes untersuchen wir das Zusammenspiel von Kodierungsgewichten mit paarweiser Synchronität und Korrelationen und stellen fest, dass in V4, aber nicht in V1, die Struktur wichtig die Stärke paarweiser Interaktionen auf verschiedenen Zeitskalen bestimmt. Schließlich zeigen wir, dass Korrelationen innerhalb, aber nicht zwischen Codierungspools die Leistung des Decoders beeinträchtigen. Wir fahren fort, indem wir ein biologisch interpretierbares Modell für das Auslesen von parallelen Spike-Abfolgen in Einzelversuchen erstellen. Das Modell nutzt die strukturellen Eigenschaften von Bevölkerungsreaktionen und berücksichtigt die Korrelationsstruktur dieser Reaktionen. Wir berechnen den synaptischen Strom eines ausgelesenen Neurons, das synaptische Inputs von einer Population projizierender Neuronen empfängt, unter der Annahme, dass Spitzen durch einen Vektor von Dekodierungsgewichten gewichtet werden. Dekodierungsgewichte spiegeln die Rolle der einzelnen Neuronen für die Berechnung auf Netzwerkebene wider. Das resultierende Signal ermöglicht es, das Auswahlverhalten des Tieres vorherzusagen, während einfachere Methoden, wie population PSTH völlig versagen. Wenn wir die oberflächliche, mittlere und tiefe Schicht der Rinde entwirren, zeigen wir, dass sowohl in V1 als auch in V4 die oberflächlichen Schichten die wichtigsten für die Diskriminierung sind. Während des Experiments wird das Tier für sein korrektes Verhalten belohnt. Die Darstellung der Verhaltensentscheidung muss aber auch dann erfolgen, wenn die Wahl falsch ist. Wir fragen, ob das Dekodierungsmodell, trainiert in Anwesenheit der Informationen über sowohl Stimulus als auch Wahl (z.B. richtige Wahl), verallgemeinert werden kann zur Dekodierung im Kontext von Wahl allein. Wir zeigen, dass eine solche Verallgemeinerung in V1 stattfindet, wo wir die Wahl in der zweiten Hälfte der Studie entschlüsseln können. Im Gegensatz zur Dekodierung im Kontext von Stimulus und Wahl ist die Dekodierung von Wahl in einem statistischen Sinne ähnlich, unterscheidet sich aber in der Tatsache, dass sie die Informationen über das Spike-Timing benötigt.