Please use this identifier to cite or link to this item: http://dx.doi.org/10.14279/depositonce-6137
Main Title: Improving and interpreting machine learning algorithms with applications
Translated Title: Verbesserung und Interpretation von maschinellen Lernalgorithmen mit Anwendungen
Author(s): Vidovic, Marina Marie-Claire
Advisor(s): Müller, Klaus-Robert
Referee(s): Müller, Klaus-Robert
Farina, Dario
Blankertz, Benjamin
Granting Institution: Technische Universität Berlin
Type: Doctoral Thesis
Language Code: en
Abstract: Advancing understanding and interpretation of machine learning algorithms has recently been receiving much attention. Although classification systems achieve high prediction accuracies and are used across a wide spectrum of academic fields, they act like a black-box and provide little or no reasoning information about their decisions. However, several applications in science and technology require an explanation of the learned decision function. Firstly, in the field of bioinformatics, positional oligomer importance matrices (POIMs) have been successfully applied to visualize the significance of position-specific subsequences. Although being a major step towards the explanation of trained support vector machine (SVM) models, they suffer from the fact that their size grows exponentially with the length of the motif, which renders their manual inspection feasible only for comparably small motif sizes. Therefore, in the first part of this thesis, we extend the work on POIMs, by presenting a new machine learning methodology, entitled motifPOIM, to extract the truly relevant motifs—regardless of their length and complexity—underlying the predictions of a trained SVM model. The proposed framework thereby considers the motifs as free parameters in a probabilistic model and is phrased as a non-convex optimization problem. In a next step, we derive a convex formulation of the previous presented motifPOIM approach, which provides a more robust and faster motif extraction. Secondly, as a generalization of POIMs towards arbitrary classifiers and feature representations, the feature importance ranking measure (FIRM), has been proposed. Although FIRM provides a rich theoretical concept, it is computationally not feasible for most real-world use cases. Hence, we propose a new method named measure of feature importance (MFI), a simple and easy to use extension of FIRM that can assess — from arbitrary learning machines — the importance of even non-linearly coupled features, either instance-based (what features drove the classification decision for a given instance?) or model-based (which features are generally important for the classifier decision). Our formulation is based on the Hilbert-Schmidt independence criterion, which originally has been proposed to measure statistical independence for variables that exhibit non-linear couplings. We demonstrate the benefit of our proposed MFI method for SVMs and Convolutional Neural Networks on both artificially generated data and real-world applications. Thirdly, this thesis tackles the problem of non-stationarities in the data, which is another well-known issue in the field of machine learning. Covariate shifts, i.e., fundamental changes over time in the data, are challenging for most real-world scenarios. In this thesis, we approach this problem excessively on the example of EMG signals for controlling prosthetic devices, where covariate shifts are generally caused by electrode shifts after donning and doffing, sweating, additional weight or varying arm positions. A substantial decrease in classification accuracy due to these factors distorts the direct translation of EMG signals into accurate myoelectric control patterns outside laboratory conditions. To overcome this limitation, we propose the use of supervised adaptation methods. The approach is based on adapting a trained classifier using a small calibration set only, which incorporates the relevant aspects of the non-stationarities, but requires only less than 1 min of data recording.
Fortschritte bezüglich Verständnis und Interpretation von Machine Learning Algorithmen haben in den vergangen Jahren stark an Aufmerksamkeit gewonnen. Obwohl Klassifikationssysteme hohe Vorhersagegenauigkeiten erzielen und über ein breites Spektrum akademischer Felder hinweg eingesetzt werden, agieren sie wie eine Black-Box und liefern wenige oder gar keine Informationen über getroffene Entscheidungen. Allerdings benötigen viele wissenschaftliche und technologische Anwendungen eine Erklärung für die von der Lernmaschine getroffene Entscheidung. Zunächst wurden auf dem Gebiet der Bioinformatik die Positional Oligomer Importance Matrizen (POIMs) erfolgreich angewendet, um die Relevanz einzelner positionsspezifischer Teilsequenzen zu visualisieren. Obwohl POIMs zum Verständnis von SVM Modellen beitragen, ist dieser Ansatz in seiner Anwendung stark beschränkt, da die POIM Größe exponentiell mit der Länge der gesuchten Motive wächst. Im ersten Teil dieser Dissertation, erweitern wir das Konzept von POIMs. Dazu stellen wir eine neue maschinelle Lernmethode namens motifPOIM vor, die es ermöglicht die der SVM zugrunde liegenden relevanten Motive - unabhängig von ihrer Länge und Komplexität - zu extrahieren. Dabei werden die Motive als freie Parameter in einem probabilistischen Modell betrachtet, das als nicht konvexes Optimierungsproblem formuliert werden kann. Anschließend wird eine konvexe Formulierung des bisherigen "motifPOIM-Ansatzes" hergeleitet, die eine robustere und schnellere Motiv-Extraktion ermöglicht. Als Verallgemeinerung von POIMs im Hinblick auf beliebige Klassifikatoren und Merkmalsdarstellungen wurde die Feature Importance Ranking Measure (FIRM) Methode vorgeschlagen. Obwohl FIRM ein elegantes theoretisches Konzept darstellt, ist es physikalisch für die meisten Anwendungen nicht berechenbar. Daher stellen wir im zweiten Teil der Dissertation eine neue Methode namens Measure of Feature Importance (MFI) vor. MFI ist eine einfach zu benutzende Erweiterung von FIRM, die die Wichtigkeit von nicht-linear gekoppelten Merkmale für beliebige Lernmaschinen beurteilen kann, sowohl Beispiel basiert (Welche Merkmale eines gegebenen Sample waren für die Klassifikator Entscheidung relevant?) als auch Model basiert (Welche Merkmale sind für den Klassifikator allgemein relevant?). Unsere Formulierung basiert auf dem Hilbert-Schmidt-Unabhängigkeitskriterium (HSIC), das ursprünglich als eine Möglichkeit zur Messung der statistischen Unabhängigkeit für Variablen mit nichtlinearen Kopplungen entwickelt wurde. Wir evaluieren unsere vorgeschlagene Methode für SVMs und Convolutional Neural Networks auf sowohl künstlich erzeugten Daten als auch auf realen Anwendungen. Als drittes Thema dieser Dissertation wird die Analyse und der Umgang mit nichtstationären Daten behandelt. Die sogenannte Kovariate Verschiebung, gemeint ist die Veränderungen der Dateneigenschaften über die Zeit, stellt eine große Herausforderung im Bereich des Maschinellen Lernens dar. Wir behandeln die Kovariate Verschiebung ausführlich am Beispiel von EMG Signalen zur Steuerung von Prothesen. Dabei werden Veränderungen in den Daten z.B. durch Verschiebung der Elektroden nach Anziehen und Abziehen der Prothese, Schwitzen, Zusatzgewicht oder variierenden Armpositionen verursacht. Diese Faktoren reduzieren die Klassifizierungsgenauigkeit und damit auch die Genauigkeit der EMG-Signal Übersetzung in myoelektrische Kontrollmuster außerhalb von Laborbedingungen. Um dieser Verschlechterung entgegenzuwirken, stellen wir eine Adaption des trainierten Klassifikators vor. Dabei basiert die Adaption auf einem kleinen Kalibrationsdatenset, das weniger als 1 Min Datenerfassung benötigt, und gleichzeitig alle relevanten Aspekte der Nichtstationaritäten beinhaltet.
URI: http://depositonce.tu-berlin.de/handle/11303/6699
http://dx.doi.org/10.14279/depositonce-6137
Exam Date: 11-Aug-2017
Issue Date: 2017
Date Available: 7-Sep-2017
DDC Class: DDC::000 Informatik, Informationswissenschaft, allgemeine Werke::000 Informatik, Wissen, Systeme::004 Datenverarbeitung; Informatik
DDC::500 Naturwissenschaften und Mathematik::500 Naturwissenschaften::500 Naturwissenschaften und Mathematik
Subject(s): machine learning
explanation
covariate shift adaptation
computational biology
myocontrol
maschinelles Lernen
Interpretation
kovariate Shift-Adaptierung
Bioinformatik
EMG Myo Steuerung
Sponsor/Funder: BMBF, 01IB15001B, ALICE II - Autonomes Lernen in komplexen Umgebungen 2 (Autonomous Learning in Complex Environments 2)
Creative Commons License: https://creativecommons.org/licenses/by/4.0/
Appears in Collections:Technische Universität Berlin » Fakultäten & Zentralinstitute » Fakultät 4 Elektrotechnik und Informatik » Institut für Softwaretechnik und Theoretische Informatik » Publications

Files in This Item:
File Description SizeFormat 
vidovic_marina_marie-claire.pdf9.65 MBAdobe PDFThumbnail
View/Open


Items in DepositOnce are protected by copyright, with all rights reserved, unless otherwise indicated.