Please use this identifier to cite or link to this item: http://dx.doi.org/10.14279/depositonce-2958
Main Title: Massively Parallel Data Processing on Infrastructure as a Service Platforms
Translated Title: Massiv-parallele Datenverarbeitung auf Infrastructure as a Service Plattformen
Author(s): Warneke, Daniel
Advisor(s): Kao, Odej
Granting Institution: Technische Universität Berlin, Fakultät IV - Elektrotechnik und Informatik
Type: Doctoral Thesis
Language: English
Language Code: en
Abstract: Infrastructure as a Service (IaaS) Clouds haben sich in den vergangenen Jahren zu einer vielversprechenden neuen Plattform für massiv-parallele Datenverarbeitung entwickelt. Durch den Wegfall der Notwendigkeit hoher Anfangsinvestitionen bieten Betreiber von IaaS Clouds ihren Kunden die nie dagewesene Möglichkeit, kurzzeitigen Zugriff auf einen hoch skalierbaren Pool von Rechenressourcen zu erhalten und darauf Datenanalyseprogramme in einer Größenordnung auszuführen, die bislang nur großen Internetfirmen und Forschungseinrichtungen vorbehalten war. Trotz der steigenden Popularität dieser Form von verteilten Anwendungen, stammen die aktuellen Datenverarbeitungsframeworks, die die Erstellung und Ausführung dieser großangelegten Aufgaben (Jobs) zur Datenanalyse unterstützen, immernoch aus der Ära der dedizierten, statischen Rechencluster und haben die speziellen Eigenschaften der IaaS Plattformen bislang außer Acht gelassen. Diese Doktorarbeit greift den Entwurf eines parallelen Datenverarbeitungsframeworks vor dem Hintergrund der neuen Möglichkeiten und Herausforderungen einer IaaS Cloud neu auf, und zwar mit dem Ziel, die Verarbeitungseffizienz von Jobs auf dieser Plattform sowohl in Hinblick auf die Zeit als auch auf die Kosten zu verbessern. Dabei analysiert die Arbeit, wie ein Framework für parallele Datenverarbeitung die Fähigkeiten einer Cloud zur schnellen Ressourcenbereitstellung nutzen kann und präsentiert daraufhin ein neues Verarbeitungsframework mit dem Namen Nephele, welches diese neuen Möglichkeiten der Cloud explizit ausnutzt. Darüber hinaus werden noch mehrere Ansätze zur Reduzierung des erhöhten Risikos von I/O Flaschenhälsen während der Jobausführung vorgestellt, welches in einer Cloud durch die Verwendung von Hardwarevirtualisierung entsteht. Um ihre Leistungsfähigkeit aufzuzeigen, werden alle Beiträge dieser Doktorarbeit durch zahlreiche praktische Experimente evaluiert und, sofern möglich, mit dem aktuellen Stand der Technik gegenübergestellt.
In recent years, Infrastructure as a Service (IaaS) clouds have emerged as a promising new platform for massively parallel data processing. By eliminating the need for large upfront capital expenses, operators of IaaS clouds offer their customers the unprecedented possibility to acquire access to a highly scalable pool of computing resources on a short-term basis and enable them to execute data analysis applications at a scale which has been traditionally reserved to large Internet companies and research facilities. However, despite the growing popularity of these kinds of distributed applications, the current parallel data processing frameworks, which support the creation and execution of large-scale data analysis jobs, still stem from the era of dedicated, static compute clusters and have disregarded the particular characteristics of IaaS platforms so far. This thesis revisits the design of a parallel data processing framework against the background of the new possibilities and challenges of IaaS clouds with the objective of improving the processing efficiency on these platforms in terms of both time and cost. In particular, the thesis analyzes how parallel data processing frameworks can take advantage of the cloud's ability for rapid resource provisioning and presents a new parallel data processing framework called Nephele, which explicitly exploits these new cloud features. Moreover, several approaches are presented to reduce the increased risk of I/O bottlenecks during the job execution which results from the cloud's use of hardware virtualization. In order to underline their effectiveness, all contributions of this thesis are evaluated through various practical experiments and, whenever possible, contrasted to the state of the art in the respective field.
URI: urn:nbn:de:kobv:83-opus-32440
http://depositonce.tu-berlin.de/handle/11303/3255
http://dx.doi.org/10.14279/depositonce-2958
Exam Date: 28-Sep-2011
Issue Date: 17-Oct-2011
Date Available: 17-Oct-2011
DDC Class: 004 Datenverarbeitung; Informatik
Subject(s): Cloud Computing
Datenverarbeitung
Infrastructure as a Service
Cloud Computing
Data Processing
Infrastructure as a Service
Usage rights: Terms of German Copyright Law
Appears in Collections:Technische Universität Berlin » Fakultäten & Zentralinstitute » Fakultät 4 Elektrotechnik und Informatik » Institut für Telekommunikationssysteme » Publications

Files in This Item:
File Description SizeFormat 
Dokument_53.pdf1.85 MBAdobe PDFThumbnail
View/Open


Items in DepositOnce are protected by copyright, with all rights reserved, unless otherwise indicated.