Loading…
Data-driven estimation and neurophysiological assessment of perceived visual quality
Bosse, Sebastian
Perceptual quality is one of the key aspects of modern multimedia communication systems. Nevertheless, the questions of how to reliably assess quality as perceived by humans, how to computationally estimate perceived quality and how to incorporate computational models of quality in multimedia systems can still not be answered satisfactorily, despite decades of research. However, these problems are connected, because multimedia systems are typically evaluated in quality assessment studies, the outcome of quality assessment studies informs the design of computational quality models and computational quality models are in turn used for the optimization of multimedia systems.
This dissertation contributes to the current state of research in several ways. First, a novel neural network-based end-to-end optimized model for image quality estimation is proposed. The proposed method achieves prediction performance that is superior to the state-of-the-art for no-reference as well as for full-reference quality estimation.
The second contribution is a formal definition of distortion sensitivity that leads to the derivation of a computationally graceful, perception-based adaptation that can be applied to any given quality model. The proposed framework relates the functional psychometric outcome of quality assessment to a local weighting that can be used to improve the accuracy of quality estimation. A neural network-based method for estimating local weights is proposed and evaluated for the estimation of image quality.
In a third contribution, the concept of distortion sensitivity is transferred to rate-distortion theory for lossy compression. A perceptual bit allocation scheme for block-based video compression is derived and experimentally evaluated for compression of still images. Significant bit rate savings are achieved compared to the state of the art, at identical perceptual quality . However, the results suggest that the performance of data-driven quality models crucially depends on the availability of labeled training data. It is shown that, for generating such data, conventional psychophysical assessment of perceived quality inherently suffers from several flaws. Thus, in a fourth contribution, a neurophysiological quality assessment method based on steady-state visual evoked potentials is proposed. The proposed assessment method achieves significant correlations to conventionally obtained quality scores. Extracted neural markers of quality are statistically equivalent to MOS values in a linear prediction model. This paves the way towards novel neurophysiological methods for reliable assessment of visual quality.
Wahrgenommene Qualität ist ein Schlüsselaspekt moderner Multimediakommunikationssysteme. Jedoch sind die Fragen, wie man zu verlässlichen Qualitätsurteilen kommt, wie man Qualität der menschlichen Wahrnehmung entsprechend computergestützt schätzen kann, und wie man computergestützte Modelle für Qualität in Multimediasystemen verwenden kann trotz langjähriger Forschung nicht zufriedenstellen geklärt. Die genannten Fragestellungen sind eng miteinander verknüpft, denn typischerweise werden Multimediasysteme auf der Basis von Qualitätsbewertungen durch Menschen evaluiert, die Ergebnisse solcher Qualitätsuntersuchungen werden für den Entwurf rechnergestützter Qualitätsmodelle genutzt und diese rechnergestützten Qualitätsmodelle dienen schließlich wiederum der Optimierung von Multimediasystemen.
Diese Dissertation trägt in mehrfacher Hinsicht zur aktuellen Forschung bei. Der erste Beitrag dieser Arbeit ist der Entwurf eines neuen, auf einem neuronalen Netz basierenden und Ende- zu-Ende optimierten rechnergestützten Models zur Bildqualitätsschätzung. Die Vorhersagegenauigkeit der vorgeschlagenen Methode übertrifft die anderer, dem Stand der Technik entsprechender Methoden, dies sowohl in Kenntnis als auch in Unkenntnis des Referenzbildes. Der zweite Beitrag der Arbeit ist die formale Definition von Störungsempfindlichkeit, die zur Herleitung eines rechnerisch vorteilhaften Qualitätsmodells führt. Der vorgeschlagene konzeptionelle Rahmen verknüpft die funktional-psychometrische Beschreibung von Qualitätswahrnehmung mit einer lokalen Gewichtung zur perzeptuellen Anpassung von gegebenen Qualitätsmodellen. Zur Schätzung lokaler Gewichte für die Qualitätsvorhersage wird eine auf einem neuronalen Netz basierende Methode vorgestellt und untersucht.
In einem dritten Beitrag wird das Konzept der Störungssensitivität auf die Rate-Verzerrungs-Theorie der verlustbehafteten Kompression übertragen. Ein Schema zur perzeptuellen Bitallokation in blockbasierter Videokompression wird hergeleitet und am Beispiel der Standbildkompression experimentell untersucht. Bei gleicher perzeptueller Qualität werden im Vergleich zum Stand der Technik deutliche Bitratengewinne gezeigt.
Dennoch legen die Ergebnisse nahe, dass die Leistungsfähigkeit von datengetriebenen Qualitätsmodellen maßgeblich von der Verfügbarkeit annotierter Trainingsdaten abhängt. Es wird jedoch gezeigt, dass konventionelle psychophysikalische Qualitätsbewertungsmethoden inhärente Nachteile aufweisen. Deshalb wird in einem vierten Beitrag eine elektroenzephalographische Qualitätsbewertungsmethode entwickelt, die auf zustandsstabilen visuell evozierten Potentialen beruht. Die vorgestellte Methode zeigt signifikante Korrelationen zu konventionell ermittelten Qualitätsurteilen. Extrahierte neurale Marker wahrgenommener Qualität sind in einem einfachen linearen Prädiktionsmodell statistisch nicht von MOS-Werten zu unterscheiden. Dies zeigt einen Weg zu neuartigen neurophysiologischen Methoden für die Beurteilung von visueller Qualität auf.
