Please use this identifier to cite or link to this item: http://dx.doi.org/10.14279/depositonce-5811
Main Title: Quality of experience of multiparty conferencing and telemeeting systems
Subtitle: methods and models for assessment and prediction
Translated Title: Qualitätswahrnehmung von Konferenz- und Telemeeting-Systemen
Translated Subtitle: Methoden und Modelle zur Beurteilung und Prädiktion
Author(s): Skowronek, Janto
Advisor(s): Raake, Alexander
Referee(s): Raake, Alexander
Möller, Sebastian
Le Callet, Patrick
Granting Institution: Technische Universität Berlin
Type: Doctoral Thesis
Language Code: en
Abstract: Die vorliegende Dissertation behandelt die Qualitätswahrnehmung von Telemeetingsystemen, d.h. audiovisuellen Telekonferenzsystemen, bei denen mehr als zwei Gesprächspartner miteinander verbunden sind. Die Dissertation legt den Schwerpunkt auf zwei Aspekte, die ein Telemeeting, d.h. Mehrpersonengespräch über ein Telemeetingsystem, von einem konventionellen (Video-)Telefonat zwischen zwei Teilnehmer unterscheiden. Der erste Aspekt ist die besondere kommunikative Situation, die sich dadurch hervorhebt, dass sie ein Gruppengespräch darstellt, welches über ein Telekommunikationssystem stattfindet. Der zweite Aspekt ist die Möglichkeit, dass die Nutzer asymmetrische Verbindungen antreffen können, d.h. dass die Gesprächspartner mit unterschiedlichen Geräten und Leitungseigenschaften verbunden sind. Das wiederum ermöglicht es, verschiedene Niveaus einer Telemeetingqualität erfahren zu können, nämlich die Qualität des gesamten Telemeetings und der Qualität der einzelnen Verbindungen der Teilnehmer. Zunächst wird in dieser Dissertation ein konzeptionelles Model entwickelt, welches as theoretische Grundlage dient. Danach wird eine Methode zur Durchführung von Qualitätstest für Mehrpersonengespräche beschrieben. Anschließend werden drei Experimente vorgestellt und analysiert, welche den Einfluss von kommunikativen Aspekten, genauer der Komplexität der Kommunikationssituation und der Anteilnahme am Gespräch, untersuchen. Danach werden sieben auditive und audiovisuelle Experimente vorgestellt und analysiert, welche den Einfluss der technischen Systemeigenschaften auf die oben genannten verschiedenen Qualitätsniveaus untersuchen. Zuletzt werden in dieser Dissertation Modelle entwickelt, welche Urteile der Gesamtqualität anhand von Qualitätsurteilen der Einzelverbindungen schätzen. Da Eingangs- und Ausgangsgrößen der vorgestellten Modelle perzeptive Nutzerurteile und nicht instrumentelle Qualitätsschätzungen sind, liefern die Modelle eine konzeptionelle Basis für die Entwicklung technischer Lösungen. Die wesentlichen Erkenntnisse dieser Arbeit sind: 1. Eine komplexere Kommunikationssituation kann unter denselben technischen Bedingungen zu niedrigeren Qualitätsurteilen führen als eine weniger komplexe Kommunikationssituation. 2. Der Einfluss der Anteilnahme am Gespräch in einem Qualitätstest kann größer sein als der Effekt der getesteten technischen Bedingungen. 3. Es existiert eine gegenseitige Beeinflussung der Qualitätsurteile der Einzelverbindungen in einem Gespräch, wobei diese Beeinflussung von den technischen Bedingungen abhängt. 4. Das Qualitätsurteil des gesamten Systems kann in vielen Fällen als einfacher Mittelwert der Qualitätsurteile der Einzelverbindungen geschätzt werden. Jedoch für mehrere technische Bedingungen liefern komplexere Schätzmodelle bessere Ergebnisse. 5. Die besten Modelle ereichen Korrelationskoeffizienten von bis zu 0.95 und RMSE-Werte (Wurzel des Mittleren Quadratischen Fehlers) von 0.45 auf der 5-Punkte Absolute-Category-Rating-Skala. Das zeigt, dass es möglich ist, die Gesamtqualität anhand der Einzelverbindungsqualitäten angemessen schätzen zu können. 6. Es hat sich keine Modellfunktion herausgestellt, die als einzige alle anderen untersuchten Funktionen signifikant übertrifft. Jedoch zeigte eine der Funktionen den besten Kompromiss zwischen zwei grundsätzlichen Trends: Ist die Gesamtqualität gut, dann liegt der Mittelwert der Einzelverbindungsurteile sehr nahe an dem Gesamturteil; ist die Gesamtqualität schlecht, dann liegt das Minimum der Einzelverbindungsurteile sehr nahe an dem Gesamturteil. Demnach berechnet sich die meist versprechendste Modellierungsfunktion als eine gewichtete Kombination aus Mittelwert und Minimum der Einzelverbindungsurteile, wobei die Gewichtung selbst wiederum vom Mittelwert abhängt. 7. Einzelne Details bei Design und Durchführung der Qualitätstests zeigten unterschiedliche Messempfindlichkeiten hinsichtlich der drei Punkte Detektion der gegenseitigen Beeinflussung der Einzelverbindugen, Aufspüren von Belegen, dass eine einfache Mittelung nicht ausreicht, und Nachweisen des Zugewinns durch Verwendung komplexerer Schätzmodelle. Als nächste Schritte für weitere Arbeiten bietet sich die Umsetzung der gewonnenen Erkenntnisse in technische Lösungen an. Dieses würde zunächst eine Nachbildung der Modellierung beinhalten, in der die perzeptiven Qualitätsurteile der Einzelverbindungen durch instrumentelle Qualitätsschätzungen ersetzt werden. Später könnten dann solche Modelle durch das Einbinden der kommunikativen Aspekte verbessert werden. Dieses wiederum erfordert die Entwicklung technischer Ansätze zur Schätzung derartiger kommunikativer Aspekte wie der hier untersuchten Komplexität der Kommunikationssituation oder der Anteilnahme am Gespräch.
This thesis investigates quality perception of multiparty audio and video conferencing systems, in short telemeeting systems. It is built around two aspects that differentiate a multiparty telemeeting from a conventional two-party (video) telephony call. The first aspect is the special communicative situation, that is, having a group conversation over a telecommunication system. The second aspect is the possibility of encountering asymmetric connections, that is, participants are connected with different equipment or connection properties. This in turn leads to the possibility to perceive different levels of telemeeting quality, i.e. the quality of the whole telemeeting and the quality of the individual connections of participants. First, this thesis develops a conceptual model that serves as a theoretical foundation. Then it describes a methodology to conduct multiparty quality assessment tests. Next it analyzes three experiments on the impact of the communicative aspects (i.e. communication complexity and involvement) on telemeeting quality. Then it analyzes seven audio-only and audiovisual experiments on the impact of technical conditions on the different levels of telemeeting quality. And finally it develops models that predict overall telemeeting quality scores based on the quality scores of the individual connections. Since all considered scores are perceptual ratings and not estimations obtained from instrumental methods, these models are conceptual ones, which serve as the foundation for developing technical solutions. The main findings of the experimental chapters are: 1. An increased communication complexity can lead to lower quality ratings for the same technical conditions. 2. The effect of involvement in a quality assessment test can be larger than that due to the tested technical conditions. 3. There exists a mutual influence on the quality scores of individual connections, whereas this depends on the character of the actual technical conditions. 4. The overall telemeeting quality can be expressed as a simple mean of the individual connection quality scores. However, for some technical conditions, more complex models achieve better results. 5. With correlation coefficients up to 0.95 and root mean square errors down to 0.45 on the absolute category rating scale, it is possible to adequately model the overall telemeeting quality based on the individual connection quality scores. 6. No single modeling function is the winning function in terms of significantly outperforming all other functions. However, one advanced modeling function appeared to provide the best compromise between two fundamental trends: if the telemeeting quality score is high, then the mean of individual connection quality scores is close to that score, if the telemeeting quality score is low, then the minimum of the individual connection quality scores is close. Accordingly, the most promising modeling function is computed as the weighted combination of the mean and the minimum value of the individual connection quality scores, whereas this weighting depends again on the mean of the individual connection quality scores. 7. Specific design details of the experimental methods distinguished the achieved sensitivity of the experiments in terms of their ability to detect the mutual influence of individual connections, to provide evidence that a simple mean is not always sufficient, and to show the added value of using advanced modeling functions. The next steps will be to transfer the found knowledge to technical applications. Foremost, this requires to repeat the modeling work with replacing the perceptual quality ratings of the individual connections with instrumental estimations. Later on, such models could be further improved by including the impact of the communication aspects, which will require the development of technical approaches to estimate aspects such as communication complexity or involvement.
URI: http://depositonce.tu-berlin.de/handle/11303/6252
http://dx.doi.org/10.14279/depositonce-5811
Exam Date: 9-Dec-2016
Issue Date: 2017
Date Available: 29-Mar-2017
DDC Class: DDC::000 Informatik, Informationswissenschaft, allgemeine Werke::000 Informatik, Wissen, Systeme::003 Systeme
DDC::600 Technik, Medizin, angewandte Wissenschaften::620 Ingenieurwissenschaften::620 Ingenieurwissenschaften und zugeordnete Tätigkeiten
Subject(s): Quality of Experience
QoE
conferencing
telemeeting
multiparty conversation
modeling
Qualitätswahrnehmung
Konferenzsysteme
Telemeetingsysteme
Mehrpersonengespräche
Modellierung
Creative Commons License: https://creativecommons.org/licenses/by-sa/4.0/
Appears in Collections:Technische Universität Berlin » Fakultäten & Zentralinstitute » Fakultät 4 Elektrotechnik und Informatik » Institut für Telekommunikationssysteme » Publications

Files in This Item:
File Description SizeFormat 
skowronek_janto.pdf13.07 MBAdobe PDFThumbnail
View/Open


Items in DepositOnce are protected by copyright, with all rights reserved, unless otherwise indicated.