Loading…
Thumbnail Image

Temporal pixel trajectories for frame denoising in a hybrid video codec

Esche, Marko

In komprimierten Videosequenzen treten generell Artefakte bei niedrigen Bitraten auf. Sogenannte in-loop-Filter stellen eine Möglichkeit dar, diese Artefakte zu reduzieren. Zu in-loop-Filtern gehören sowohl solche, die ausschließlich räumlich arbeiten, als auch solche die zusätzlich noch die zeitliche Dimension beinhalten. Damit die temporale Filterung effektiv funktionieren kann, werden exakte Bewegungsinformationen für jedes Pixel benötigt. In dieser Arbeit wird ein zeitliches Filter, das Temporal Trajectory Filter (TTF), näher beleuchtet. Unter anderem werden Methoden vorgestellt, um die Bewegung eines einzelnen Pixels aus blockbasierten Bewegungsvektoren zu rekonstruieren. Zusätzlich wird ein theoretisches Fundament für das Filter aufgebaut und es werden Vorhersagen bezüglich der Filtereffektivität gemacht. In der Arbeit werden weiterhin Erweiterungen des Filters wie die quadtreebasierte Parametersignalisierung, Seiteninformationskompression und dichte Bewegungsvektorfeldinterpolation zur Verbesserung der Bewegungsrepräsentation vorgestellt. Selbst für die letzte Version des neuen Videokodierungsstandards H.265/MPEG.H Part 2 konnte das Filter noch mittlere Bitratenreduktionen von 0,4% erzielen. Für frühere Versionen des Testmodells und für H.264/AVC wurden sogar noch deutlich bessere Ergebnisse erzielt. Abschließend werden mögliche Implementierungen des TTFs als Postfilter vorgestellt und untersucht. Zu diesen gehört ein hochadaptives neuronales Netzwerk und ein echtes referenzfreies Postfilter.
In compressed video sequences artifacts frequently occur at low bit rates. One possible way to reduce these artifacts and to lower the required bit rate are inloop filters. Among them are filters that work in the spatial domain only and those that utilize the temporal domain as well. In order to effectively perform temporal filtering, accurate motion information per pixel is required. In this thesis, one temporal filter, the Temporal Trajectory Filter (TTF), is investigated. Methods are described to reconstruct pixel motion paths from block-based motion vectors. In addition, a theoretical foundation for the filter is derived and predictions concerning the theoretically achievable gain are made. The thesis also covers several additions to the filter such as quadtree-based parameter signaling, side-information compression, and dense motion vector field interpolation to improve the motion accuracy. Even for the latest version of the new video compression standard H.265/MPEG.H Part 2 the filter still produces an average additional bit rate reduction of 0.4% with much higher values for prior versions and for H.264/AVC. Finally, possible implementations of the TTF as a post-filter are presented and evaluated. These include a highly adaptive neural network approach and a true reference-free post-filter.