Please use this identifier to cite or link to this item: http://dx.doi.org/10.14279/depositonce-1547
Main Title: Applications of Kernel Machines to Structured Data
Translated Title: Anwendungen von Kernmethoden auf strukturierte Daten
Author(s): Eichhorn, Jan
Advisor(s): Schölkopf, Bernhard
Granting Institution: Technische Universität Berlin, Fakultät IV - Elektrotechnik und Informatik
Type: Doctoral Thesis
Language: English
Language Code: en
Abstract: Die vorliegende Dissertation behandelt die Anwendung von Methoden des überwachten Lernens auf zwei Probleme recht unterschiedlicher Natur, die aus dem Bereich der Neurowissenschaft sowie aus der computergestützten Bildverarbeitung stammen. Die dabei zur Lösung von Klassifikationsproblemen eingesetzten Kernalgorithmen erlauben auch die Behandlung komplexer Objekte, die nicht notwendigerweise Elemente eines euklidischen Vektorraumes sein müssen. Im Beispiel der vorgestellten Anwendungen handelt es sich dabei um Zeitreihen neuronaler Aktivität beziehungsweise um digitale Bilder, die durch eine Ansammlung lokaler Deskriptoren beschrieben werden. Die Flexibilität von Kernalgorithmen wird ermöglicht durch die Verwendung einer Kernfunktion, die die Ähnlichkeit der zu behandelnden Objekte als numerischen Wert repräsentiert. Die Herausforderung bei der Anwendung besteht nun darin, geeignete Kernfunktionen zu finden, die die Ähnlichkeit der Objekte adäquat beschreiben und zugleich bestimmte mathematische Anforderungen erfüllen müssen. Der Schwerpunkt der vorliegenden Arbeit liegt auf der Entwicklung und Anpassung von Kernfunktionen für die Dekodierung neuronaler Aktivität und für die Kategorisierung von Bildern; beide Themen werden in jeweils einem Teil dieser zweiteiligen Arbeit behandelt. Der erste Teil beschäftigt sich mit der Verwendung von Kernalgorithmen für die Dekodierung neuronaler Aktivität. Es wird dabei versucht, aus Sequenzen von Aktionspotenzialen, die als Antwort auf einen visuellen Stimulus gemessen wurden, wesentliche Attribute dieses Stimulus zu rekonstruieren. Die bisher verwendeten Methoden der Neurowissenschaft berücksichtigen dabei meistens nur die Häufigkeit von Aktionspotenzialen in einem bestimmten Zeitintervall, lassen jedoch die zeitliche Verteilung dieser Ereignisse außer Acht. Mit den in dieser Arbeit zum Teil erstmals vorgestellten Kernfunktionen wird eine weitergehende Analyse dieser so genannten Spike Trains'' ermöglicht. Ähnlichkeit zwischen zwei Sequenzen wird nicht nur durch die Häufigkeit der Aktionspotenziale beschrieben sondern es werden dabei auch eventuell auftretende zeitliche Muster berücksichtigt. Die Funktionsfähigkeit der Kernfunktionen wird sowohl an simulierten Daten getestet sowie auch auf echten Messungen aus einem neurophysiologischen Experiment. Diese Anwendung erlaubt es wiederum Rückschlüsse zu ziehen, inwieweit zeitliche Muster in Sequenzen von Aktionspotenzialen wirklich bedeutsam sind für die Kodierung von Attributen visueller Stimuli im beobachteten Organismus. In einer zweiten Anwendung wird die gleichzeitig gemessene Aktivität mehrerer Neuronen als Grundlage für die Rekonstruktion benutzt und dabei stellt sich heraus, dass die Präzision der verwendeten Kernalgorithmen zum Teil deutlich höher ist als die der derzeit üblichen Methoden in der Neurowissenschaft. Im zweiten Teil der Dissertation wird die Support Vektor Maschine als ein prominenter Vertreter der Kernalgorithmen benutzt, um Objekte in Bildern zu kategorisieren. In der computergestützten Bildverarbeitung hat es sich erwiesen, dass dabei eine Repräsentation der Bilder als Ansammlung von Bildteilen besonders vorteilhaft ist. Diese Bildteile beschreiben begrenzte Regionen, die in einem vorherigen Verarbeitungsschritt als besonders auffällig ausgewählt wurden. Um eine Kernfunktion für diese Art von Bildrepräsentation zu definieren, wurde die geometrische Anordnung der Bildteile vernachlässigt und zwei in der neueren Literatur vorgeschlagene Kernfunktionen für Mengen kamen zur Anwendung. Die Nützlichkeit dieser Herangehensweise wurde bei Tests auf zwei Standarddatensätzen für Objektkategorisierung überprüft, und ein Vergleich mit anderen Methoden ergab sich durch die Teilnahme an einem offenen Wettbewerb für visuelle Kategorisierung. Insbesondere bei der Interpretation der Wettbewerbsergebnisse stellt sich heraus, dass die Verwendung von Support Vektor Maschinen klare Vorteile in der Klassifikationsleistung ermöglicht.
In this thesis we are concerned with the application of supervised learning methods to two problems of rather different nature -- one originating from computational neuroscience, the other one from computer vision. The kernel algorithms that will be used allow classification of complex objects that need not to be elements of a Euclidean vector space. For example in the applications presented below these objects are time series of neural activity and images described by a collection of local descriptors. The flexibility of kernel algorithms is achieved through the use of a kernel function that specifies similarity of the objects as a numerical value. To make an application successful, one has to find appropriate kernel functions that adequately describe similarity and at the same time must fulfil certain mathematical requirements. The focus of our work is the development and adaptation of kernel functions for decoding of neural activity and for image categorisation. Each topic is treated separately in one of the two parts of this thesis. In part~\ref{part:neuro} the application of kernel algorithms for decoding of neural activity is explored. Sequences of action potentials that were measured as response to a visual stimulus are used to reconstruct characteristic attributes of the stimulus. Most of the current methods in neuroscience consider only the number of action potentials in a certain time interval and neglect the temporal distribution of these events. With the kernel functions for neural activity that are proposed in this thesis an extended analysis of spike trains is possible. The similarity of two sequences is not only determined by the frequency of spikes but also takes potential temporal patterns into account. An evaluation of the kernels is performed on artificially generated data as well as on real recordings from a neurophysiological experiment. Experiments on this second type of data allow some conclusions about the actual importance of temporal patterns for the encoding of stimulus attributes in the organism under consideration. In a second set of experiments the simultaneously recorded activity of multiple neurons is taken as a basis of reconstruction. Here the results show that the tested kernel algorithms can perform reconstruction in most cases with a significantly higher precision than current methods of computational neuroscience. The second part of this thesis presents an application of support vector machines as one prominent example of kernel algorithms to the task of object categorisation. Computer vision research has found that it is advantageous for many problems to represent images as a collection of image parts. These parts describe bounded regions of the image that have been previously selected for being particularly salient. To define a kernel function on this type of image representation, we neglected geometrical relations among the image parts and applied two recently proposed kernel functions for sets. The usefulness of this approach was tested on two standard data-sets for image categorisation and was compared to other methods when taking part in an open challenge on visual object categorisation. Results of the challenge show that the use of support vector machines in object categorisation can provide a substantial advantage in performance.
URI: urn:nbn:de:kobv:83-opus-15074
http://depositonce.tu-berlin.de/handle/11303/1844
http://dx.doi.org/10.14279/depositonce-1547
Exam Date: 27-Nov-2006
Issue Date: 5-Mar-2007
Date Available: 5-Mar-2007
DDC Class: 004 Datenverarbeitung; Informatik
Subject(s): Kernmethoden
Neurowissenschaft
Objektkategorisierung
SVM
Computational neuroscience
Kernel methods
Object categorisation
SVM
Usage rights: Terms of German Copyright Law
Appears in Collections:Technische Universität Berlin » Fakultäten & Zentralinstitute » Fakultät 4 Elektrotechnik und Informatik » Publications

Files in This Item:
File Description SizeFormat 
Dokument_4.pdfDissertation2.17 MBAdobe PDFThumbnail
View/Open


Items in DepositOnce are protected by copyright, with all rights reserved, unless otherwise indicated.