Loading…
Thumbnail Image

Investigation of Wiener filter techniques for in-loop filtering in video coding

Erfurt, Johannes

The demand for image and video content has increased rapidly over the past decades. In order to meet today’s transmission and storage constraints, efficient compression tools are needed which generate high coding gains. For the accomplishment of the last video coding standards such as H.265/HEVC and H.266/VVC, in-loop filters played an important role. In-loop filters do not only significantly improve the coding efficiency of a video codec, additionally, they often diminish occurring coding artifacts and therefore can restore subjective quality of a video sequence. In this doctoral thesis in-loop filter techniques utilizing Wiener filters are investigated. Wiener filters are the result of an optimization problem to find optimal filter coefficients such that the resulting filtered image, obtained by applying the derived filters to a noisy image, possesses the smallest mean square error compared to a target image among all possible filters for a fixed filter size and shape. The first in-loop tool utilizing successfully Wiener filters in a common video coding standard is the adaptive loop filter (ALF). ALF conducts a classification and a filtering process. The set of all sample locations of an image is partitioned into multiple classes based on local edge and directional information. This ensures the usage of multiple Wiener filters, one for each class. This technique can effectively improve the coding efficiency of a video codec. The performance of Wiener filter techniques seems to rely particularly on how its classification behaves. How does a classification process need to be designed in order to exploit the full potential of Wiener filters? Which image features need to be extracted and utilized for classification such that it benefits the filtering process? Can we also effectively improve visual quality by employing Wiener filters? This thesis tackles the mentioned questions by analyzing Wiener filtering in relation to the following aspects: - Applying multiple classifications by incorporating multiple image features - Classification in a sparse transform domain by utilizing shearlets - Signal-adaptive filtering methods by incorporating a data-driven classification process. In the first part of the thesis, the multiple feature-based classifications adaptive loop filter (MCALF) is presented. Every image is governed by some characteristics which cannot be generally described by only one feature. While the classifier in ALF mainly focuses on local geometric characteristics, many images contain different underlying features such as textures. Multiple classifiers are tested for each image, which lead to a better adaptation to predominant features of the input image. The main part of this thesis motivates and applies the shearlet transform for in-loop filtering, which leads to the development of the shearlet-based intensity classification loop filter (SCLF). SCLF uses an overcomplete and sparsifying transform, the shearlet transform. The basic idea is to achieve a signal-noise separation of the input image in the sparse shearlet domain. Each shearlet transform coefficient is classified into one of multiple classes. All coefficients with similar intensities are grouped into the same class, which eventually gives a partition of the set of all shearlet coefficients. This separates important structures from noise and ensures an accurate reconstruction of original information by performing an inverse shearlet transform combined with Wiener filtering separately for each class. SCLF effectively removes compression artifacts and therefore restores subjective visual quality. In the last part of the thesis a data-driven in-loop filter, the convolutional neural network based in-loop filter (CNNLF), is studied. Here, the classification and the filtering process are derived from a convolutional neural network. Then, a novel signaladaptive second filtering step on top of the CNN-based filtering process is proposed, including the application of Wiener filters. The combination of a learned filtering process with signal-adaptive Wiener filtering can significantly improve the coding efficiency of a video codec.
In den letzten Jahrzehnten ist die Nachfrage nach digitalen Bildern und Videos stark gestiegen. Um die Übertragung und Speicherung zu gewährleisten werden effiziente Kompressionsalgorithmen benötigt, die hohe Kompressionsraten erziehen. In den letzten Kompressionsstandards für Videoinhalte, H.265/HEVC und H.266/VVC, spielen In-Loop Filter eine entscheidende Rolle. In-Loop Filter können nicht nur die Kodiereffizienz entscheidend verbessern, sie können auch visuell auffällige Kodierartefakte reduzieren und damit die subjektive Videoqualität verbessern. In dieser Doktorarbeit werden In-Loop Filtertechniken untersucht, die Wiener-Filter benutzen. Wiener-Filter sind das Resultat eines Optimierungsprozesses, welches unter allen Filtern mit gleicher Größe und Form den optimalen Filter sucht, sodass das gefilterte Bild den kleinstmöglichen mittleren quadratischen Fehler im Vergleich zum Originalbild besitzt. Das erste In-Loop Filtertool welches erfolgreich Wiener-Filter in einem Kompressionsstandard für Videoinhalte benutzt, ist der adaptive Loop Filter (ALF). ALF führt einen Klassifizierungs- und einen Filterprozess aus. Die Menge aller Pixel in einem Bild wird auf Grund von lokalen Kanten- und Richtungsinformationen in mehreren Klassen untergliedert. Für jede Klasse wird ein Wiener-Filter verwendet, der alle Pixel in einer Klasse filtert. Diese Technik führt zu hohen Kodiergewinnen. Wie gut Wiener-Filtertechniken funktionieren, hängt stark von der Klassifizierung ab. Wie muss ein Klassifizierungsalgorithmus entworfen werden, um das volle Potenzial von Wiener-Filtern auszuschöpfen? Welche Bildeigenschaften können für die Klassifizierung verwendet werden, sodass es dem Filterprozess dient? Können Wiener-Filter auch die wahrgenommene Bildqualität entscheidend verbessern? Die vorliegende Arbeit setzt sich mit den gestellten Fragen auseinander und analysiert Wiener-Filter unter Bezugnahme folgender Aspekte: - Verwendung von mehreren Klassifizierungsalgorithmen unter Berücksichtigung von mehreren Bildeigenschaften - Klassifizierung in dünnbesetzten Transformationsbereichen wie der Shearlet-Domäne - Signal-angepasste Filterprozesse unter Benutzung von maschinell gelernten Klassifizierern. Im ersten Teil der Arbeit wird das mehrfach klassifizierende adaptive Loop Filter (MCALF) vorgestellt. Jedes Bild wird von verschiedenen Charakteristiken dominiert, welche man nicht mit nur einer Eigenschaft beschreiben kann. Während der Klassifizierer in ALF lokale geometrische Eigenschaften des Bildes verwendet, gibt es Bildmerkmale wie zum Beispiel Texturen, die sich damit nur schwer beschreiben lassen. Mehrere Klassifizierer werden vorgeschlagen und der beste Klassifizierer für jedes Bild bestimmt. Dieses Verfahren führt zu einer besseren Anpassung an entsprechende Bildinhalte. Als nächstes wird die Shearlet-Transformation vorgestellt und ihre Anwendung für In-Loop Filter motiviert. Das führt zu der Entwicklung des shearletbasierten intensitätsklassifizierenden Loop Filters (SCLF). SCLF benutzt eine überbestimmte und dünnbesetzte Shearlet-Transformation. Das Ziel ist es, unter Verwendung der Shearlet-Transformation das Rauschen vom ursprünglichen Signal zu trennen. Jeder Shearlet-Transformationskoeffizient wird zu einer Klasse zugeordnet. Alle Koeffizienten mit der gleichen Intensität werden in die selbe Klasse eingeteilt. Dieser Algorithmus separiert wichtige Informationen von Rauschen und rekonstruiert Originalinformationen unter der Verwendung der inversen Shearlet-Transformation in Kombination mit einer Wiener-Filterung. SCLF entfernt Kompressionsartefakte und verbessert dadurch die subjektive Bildqualität. Im letzten Teil der Arbeit wird ein maschinell gelerntes In-Loop Filter beschrieben, das CNN basierte Loop Filter (CNNLF). Hier werden die Klassifizierung und der Filterprozess von einem faltenden neuronalen Netzwerk abgeleitet. Des Weiteren wird ein signal-angepasstes Wiener-Filter basierender zweiter Filterungsschritt vorgeschlagen, zusätzlich zu der CNN basierten Filterung. Die Kombination aus einem gelernten Filterprozess mit einer signal-angepassten Wiener-Filterung kann die Kodiereffizienz entscheidend steigern.