Please use this identifier to cite or link to this item: http://dx.doi.org/10.14279/depositonce-10393
For citation please use:
Main Title: Anomaly detection in cloud computing environments
Translated Title: Anomalieerkennung in Cloud-Computing-Umgebungen
Author(s): Schmidt, Florian Johannes
Advisor(s): Kao, Odej
Referee(s): Kao, Odej
Tordsson, Johan
Nordholz, Jan
Granting Institution: Technische Universität Berlin
Type: Doctoral Thesis
URI: https://depositonce.tu-berlin.de/handle/11303/11511
http://dx.doi.org/10.14279/depositonce-10393
License: https://creativecommons.org/licenses/by-nc/4.0/
Abstract: Cloud computing is widely applied by modern software development companies. Providing digital services in a cloud environment offers both the possibility of cost-efficient usage of computation resources and the ability to dynamically scale applications on demand. Based on this flexibility, more and more complex software applications are being developed leading to increasing maintenance efforts to ensure the reliability of the entire system infrastructure. Furthermore, highly available cloud service requirements (99.999% as industry standards) are difficult to guarantee due to the complexity of modern systems and can therefore just be ensured by great effort. Due to these trends, there is an increasing demand for intelligent applications that automatically detect anomalies and provide suggestions solving or at least mitigating problems in order not to cascade a negative impact on the service quality. This thesis focuses on the detection of degraded abnormal system states in cloud environments. A holistic analysis pipeline and infrastructure is proposed, and the applicability of different machine learning strategies is discussed to provide an automated solution. Based on the underlying assumptions, a novel unsupervised anomaly detection algorithm called CABIRCH is presented and its applicability is analyzed and discussed. Since the choice of hyperparameters has a great influence on the accuracy of the algorithm, a hyperparameter selection procedure with a novel fitness function is proposed, leading to further automation of the integrated anomaly detection. The method is generalized and applicable for a variety of unsupervised anomaly detection algorithms, which will be evaluated including a comparison to recent publications. The results show the applicability for the automated detection of degraded abnormal system states and possible limitations are discussed. The results show that detection of system anomaly scenarios achieves accurate detection rates but comes with a false alarm rate of more than 1%.
Cloud Computing Paradigmen, werden in der modernen Softwareentwicklung bereits von den meisten Unternehmen angewendet. Die Bereitstellung von digitalen Diensten in einer Cloudumgebung bietet sowohl die Möglichkeit der kosteneffizienten Nutzung von Ressourcen als auch die Möglichkeit auf Bedarf dynamisch die Anwendungen zu skalieren. Basierend auf dieser Flexibilität werden immer komplexere Softwareanwendungen entwickelt, welches zu anspruchsvollen Wartungsarbeiten der Gesamtinfrastruktur führen. Ebenfalls werden immer höhere Ansprüche an die Verfügbarkeit von Softwarediensten gestellt (99,999% im Industriekontext), was durch die Komplexität moderner Systeme nur noch schwieriger und unter großer Mühe gewährleistet werden kann. Aufgrund dieser Trends steigt der Bedarf an intelligenten Anwendungen, die automatisiert Anomalien erkennen und Vorschläge erarbeiten, um Probleme zu erkennen, zu beheben oder zumindest zu mindern um keinen negativen Einfluss auf die Servicequalität zu kaskadieren. Diese Arbeit beschäftigt sich mit der Erkennung von degradierten abnormalen Systemzuständen in Cloudumgebungen. Hierbei wird sowohl eine holistische Analysepipeline und -infrastruktur beschrieben als auch die Anwendbarkeit von verschiedenen Strategien des maschinellen Lernens diskutiert, um möglichst eine voll automatisierte Lösung bereitzustellen. Basierend auf den zugrunde liegenden Annahmen, wird ein neuartiger unsupervised Anomalieerkennungsalgorithmus namens CABIRCH vorgestellt und dessen Anwendbarkeit analysiert und diskutiert. Da die Wahl der Hyperparameter einen wichtigen Einfluss auf die Genauigkeit des Algorithmus hat, wird zudem ein Hyperparameterauswahlverfahren mit einer neuartigen Fitness-Funktion vorgestellt, welches zur Vollautomatisierung der Anomalieerkennung führen soll. Hierbei ist das Verfahren generalisiert anwendbar für eine Vielzahl von unsupervised Anomalieerkennungsalgorithmen, welche basierend auf jüngsten Veröffentlichungen umfassend evaluiert werden. Dabei wird die Anwendbarkeit zur automatisierten Erkennung von degradierten abnormalen Systemzuständen gezeigt und mögliche Limitierungen diskutiert. Die Ergebnisse zeigen, dass eine Erkennung der verschiedenen Anomalien gewährleistet werden kann, jedoch mit einer Fehlalarmrate von über 1%.
Subject(s): anomaly detection
cloud computing
edge computing
AIOps
self-healing
Anomalieerkennung
selbstheilende Systeme
Issue Date: 2020
Date Available: 24-Jul-2020
Exam Date: 18-Jun-2020
Language Code: en
DDC Class: 004 Datenverarbeitung; Informatik
TU Affiliation(s): Fak. 4 Elektrotechnik und Informatik » Inst. Telekommunikationssysteme » FG Komplexe und Verteilte IT-Systeme
Appears in Collections:Technische Universität Berlin » Publications

Files in This Item:
schmidt_florian.pdf
Format: Adobe PDF | Size: 2.52 MB
DownloadShow Preview
Thumbnail

Item Export Bar

This item is licensed under a Creative Commons License Creative Commons