Please use this identifier to cite or link to this item: http://dx.doi.org/10.14279/depositonce-5038
Main Title: Advances in high-dimensional covariance matrix estimation
Translated Title: Fortschritte in der Schätzung hochdimensionaler Kovarianzmatrizen
Author(s): Bartz, Daniel
Advisor(s): Müller, Klaus-Robert
Referee(s): Blanchard, Gilles
Blankertz, Benjamin
Granting Institution: Technische Universität Berlin
Type: Doctoral Thesis
Language Code: en
Abstract: Many applications require precise estimates of high-dimensional covariance matrices. The standard estimator is the sample covariance matrix, which is conceptually simple, fast to compute and has favorable properties in the limit of infinitely many observations. The picture changes when the dimensionality is of the same order as the number of observations. In such cases, the eigenvalues of the sample covariance matrix are highly biased, the condition number becomes large and the inversion of the matrix gets numerically unstable. A number of alternative estimators are superior in the high-dimensional setting, which include as subcategories structured estimators, regularized estimators and spectrum correction methods. In this thesis I contribute to all three areas. In the area of structured estimation, I focus on models with low intrinsic dimensionality. I analyze the bias in Factor Analysis, the state-of-the-art factor model and propose Directional Variance Adjustment (DVA) Factor Analysis, which reduces bias and yields improved estimates of the covariance matrix. Analytical shrinkage of Ledoit and Wolf (LW-Shrinkage) is the most popular regularized estimator. I contribute in three aspects: first, I provide a theoretical analysis of the behavior of LW-Shrinkage in the presence of pronounced eigendirections, a case of great practical relevance. I show that LW-Shrinkage does not perform well in this setting and propose aoc-Shrinkage which yields significant improvements. Second, I discuss the effect of autocorrelation on LW-Shrinkage and review the Sancetta-Estimator, an extension of LW-Shrinkage to autocorrelated data. I show that the Sancetta-Estimator is biased and propose a theoretically and empirically superior estimator with reduced bias. Third, I propose an extension of shrinkage to multiple shrinkage targets. Multi-Target Shrinkage is not restricted to covariance estimation and allows for many interesting applications which go beyond regularization, including transfer learning. I provide a detailed theoretical and empirical analysis. Spectrum correction approaches the problem of covariance estimation by improving the estimates of the eigenvalues of the sample covariance matrix. I discuss the state-of-the-art approach, Nonlinear Shrinkage, and propose a cross-validation based covariance (CVC) estimator which yields competitive performance at increased numerical stability and greatly reduced complexity and computational cost. On all data sets considered, CVC is on par or superior in comparison to the regularized and structured estimators. In the last chapter, I conclude with a discussion of the advantages and disadvantages of all covariance estimators presented in this thesis and give situation-specific recommendations. In addition, the appendix contains a systematic analysis of Linear Discriminant Analysis as a model application, which sheds light on the interdependency between the generative model of the data and various covariance estimators.
Viele Anwendungen benötigen Schätzungen hochdimensionaler Kovarianzmatrizen. Der Standardschätzer ist die Stichprobenkovarianz. Die Stichprobenkovarianz ist konzeptuell einfach, schnell zu berechnen und hat gute Eigenschaften im Grenzwert unendlich vieler Beobachtungen. Dies ändert sich, wenn die Dimensionalität die selbe Größenordnung wie die Anzahl der Beobachtungen hat. Dann weisen die Eigenwerte der Stichprobenkovarianz einen hohen systematischen Fehler auf, die Kondition wird groß und das Inverse numerisch instabil. Es gibt zahlreiche alternative Schätzer, die in diesem Anwendungsfall besser sind. Diese lassen sich meist in die Untergruppen strukturierte Schätzer, regularisierte Schätzer und Methoden zur Spektrums-Korrektur einteilen. In dieser Dissertation trage ich zu allen diesen Bereichen bei. Im Bereich der strukturierten Schätzer konzentriere ich mich auf Modelle mit geringer intrinsischer Dimensionalität. Ich analysiere den systematischen Fehler der Faktoranalyse, dem Stand der Technik im Bereich Faktormodelle, und schlage Directional Variance Adjustment (DVA)-Faktoranalyse vor, welche den systematischen Fehler korrigiert und eine verbesserte Kovarianzschätzung liefert. Analytisches Shrinkage von Ledoit und Wolf (LW-Shrinkage) ist der am weitesten verbreitete regularisierte Schätzer. Hierzu liefere ich drei Beiträge: Erstens führe ich eine theoretische Analyse des Verhaltens von LW-Shrinkage bei Präsenz starker Eigenrichtungen vor, einem Fall von hoher praktischer Relevanz. Ich zeige, dass sich LW-Shrinkage in dieser Situation ungünstig verhält und schlage das leistungsfähigere aoc-Shrinkage vor. Zweitens behandele ich den Effekt von Autokorrelation auf Shrinkage und stelle den Sancetta-Schätzer vor, eine Erweiterung von LW-Shrinkage für autokorrelierte Daten. Ich zeige, dass der Sancetta-Schätzer einen systematischen Fehler aufweist und schlage einen theoretisch und empirisch überlegenen Schätzer vor, der einen geringeren systematischen Fehler hat. Drittens schlage ich eine Erweiterung von Shrinkage für multiple Shrinkage-Ziele vor. Multi-Target Shrinkage ist nicht auf Kovarianzschätzung beschränkt und erlaubt eine Reihe interessanter über Regularisierung hinausgehender Anwendungen, unter anderem Transfer-Lernen. Ich führe eine detaillierte theoretische und empirische Analyse durch. Methoden der Spektrums-Korrektur liefern eine verbesserte Kovarianzschätzung durch eine Korrektur der Stichprobeneigenwerte. Ich diskutiere den Stand der Technik, Nichtlineares Shrinkage, und schlage cross-validation based covariance (CVC) estimation, ein auf Kreuzvalidierung basierendes Verfahren zur Kovarianzschätzung, vor. Dieses ist vergleichbar leistungsfähig und zeichnet sich durch höhere numerische Stabilität bei geringerer Komplexität und geringerem Rechenaufwand aus. Auf allen betrachteten Datensätzen erweist sich CVC als ebenbürtig oder überlegen im Vergleich zu den strukturierten und regularisierten Schätzern. Im letzten Kapitel schließe ich mit einer Diskussion der Vor- und Nachteile sämtlicher in der Dissertation behandelter Kovarianzschätzer und gebe situationsabhängige Empfehlungen. Zusätzlich stelle ich im Appendix eine systematische Analyse von Linearer Diskriminanz-Analyse als Modellanwendung vor, in der ich den Zusammenhang zwischen dem generativen Modell der Daten und unterschiedlichen Kovarianzschätzern beleuchte.
URI: http://depositonce.tu-berlin.de/handle/11303/5357
http://dx.doi.org/10.14279/depositonce-5038
Exam Date: 21-Dec-2015
Issue Date: 2016
Date Available: 11-Mar-2016
DDC Class: DDC::500 Naturwissenschaften und Mathematik
Subject(s): covariance estimation
machine learning
Kovarianzschätzung
maschinelles Lernen
Creative Commons License: https://creativecommons.org/licenses/by/4.0/
Appears in Collections:Technische Universität Berlin » Fakultäten & Zentralinstitute » Fakultät 4 Elektrotechnik und Informatik » Institut für Softwaretechnik und Theoretische Informatik » Publications

Files in This Item:
File Description SizeFormat 
bartz_daniel.pdf3.94 MBAdobe PDFThumbnail
View/Open


Items in DepositOnce are protected by copyright, with all rights reserved, unless otherwise indicated.