Region-based template matching for next generation video coding
| dc.contributor.advisor | Wiegand, Thomas | |
| dc.contributor.author | Venugopal, Gayathri | |
| dc.contributor.grantor | Technische Universität Berlin | |
| dc.contributor.referee | Wiegand, Thomas | |
| dc.contributor.referee | Schwarz, Heiko | |
| dc.contributor.referee | Ohm, Jens-Rainer | |
| dc.date.accepted | 2022-09-01 | |
| dc.date.accessioned | 2022-11-04T12:05:04Z | |
| dc.date.available | 2022-11-04T12:05:04Z | |
| dc.date.issued | 2022 | |
| dc.description.abstract | Prediction is one of the different stages in video coding. The information available from the previously decoded samples in the current picture (intra-picture prediction) or previous pictures (inter-picture prediction) is utilized for generating the prediction signal of a block under consideration. In the traditional intra prediction methods, extrapolation of the neighbouring samples of the current block is carried out in a pre-defined manner for obtaining the prediction signal. However, these approaches are inefficient for predicting contents with complex structures and textures. A copy prediction method like intra block copy or template matching prediction is a good alternative for such cases. This type of prediction assumes that a similar block to the current block can be found from the previously decoded stream of samples. The obtained similar block is then copied to the current block as its prediction. In intra block copy, the displacement information of this similar block is explicitly transmitted to the decoder, whereas in template matching prediction it is implicitly derived through the search process of template matching in the reference area. Hence, the former is bit-rate-expensive, while the latter has no signalling overhead. Nevertheless, the second technique requires a large number of computations at the decoder-side. Further, it has more distortion than the intra block copy arrangement. In this doctoral thesis, a region-based template matching prediction method is introduced and studied for video compression. This approach partitions the reference area into multiple non-overlapping regions such that the template matching search process for finding the similar block is initiated only in the given region. The index of the chosen region is conveyed to the decoder in the bit-stream. Further, at the encoderside, a rate-distortion optimization algorithm is utilized for identifying the region that offers the best prediction to the current block. Since the new technique offers an independent prediction signal from each region, its distortion is less than that of the traditional template matching prediction algorithm. Moreover, its decoder complexity is considerably lower compared to that of the traditional template matching prediction as the search process for the similar block is carried out only in the given region. Additionally, an adaptive weighted averaging technique is developed and adopted for region-based template matching prediction where multiple similar blocks for the current block are gathered from the given region and their weights are decided dynamically at the end of the template matching search routine based on their corresponding error values. The region-based template matching method is investigated for intra as well as for inter-picture predictions in this research work. Further, its varied parameters are identified and their influence on its coding performance is examined in detail. Later, the best configuration of these parameters is presented for intra and inter coding. Finally, the experimental results of region-based template matching for intra and interpicture predictions are presented separately as well as combined. The test results demonstrate that the new algorithm is better than the classical template matching prediction scheme in terms of compression and computational efficiency. | en |
| dc.description.abstract | Die Prädiktion ist eine der verschiedenen Abschnitte der Videokodierung. Die Informationen, die aus den zuvor dekodierten Samples im aktuellen Bild (Intra-Bild-Prädiktion) oder in vorherigen Bildern (Inter-Bild-Prädiktion) verfügbar sind, werden zum Erzeugen des Prädiktionssignals eines betrachteten Blocks verwendet. Bei den herkömmlichen Intra-Prädiktionsverfahren wird eine Extrapolation der benachbarten Samples des aktuellen Blocks in einer vordefinierten Weise durchgeführt, um das Prädiktionssignal zu erhalten. Diese Ansätze sind jedoch für die Prädiktion von Inhalten mit komplexen Strukturen und Texturen ineffizient. Eine gute Alternative für solche Fälle sind Kopier-Prädiktionsverfahren wie Intra-Block-Kopie oder die Template-Matching-Prädiktion. Diese Art Prädiktion geht davon aus, dass ein ähnlicher Block wie der aktuelle Block aus dem zuvor dekodierten Samples gefunden werden kann. Der erhaltene ähnliche Block wird dann als Prädiktion in den aktuellen Block kopiert. Beim Kopieren innerhalb eines Blocks wird die Verschiebungsinformation dieses ähnlichen Blocks explizit an den Dekoder übertragen, wohingegen sie bei der Template-Matching-Prädiktion dort implizit durch den Suchprozess des Template-Matching im Referenzbereich abgeleitet wird. Daher erhöht Ersters die Bitrate, während Letzteres keine Signalisierungskosten verursacht. Nichtsdestotrotz erfordert die zweite Technik eine große Anzahl von Berechnungen auf der Dekoderseite. Außerdem weist sie eine geringere Prädiktionsgenauigkeit auf als die Intra-Block-Kopie-Prädiktion. In dieser Doktorarbeit wird ein regionenbasiertes Template-Matching-Prädiktionsverfahren eingeführt und für die Videokomprimierung untersucht. Dieser Ansatz unterteilt den Referenzbereich in mehrere nicht überlappende Regionen, so dass der Template-Match-ing-Suchprozess zum Finden des ähnlichen Blocks nur in der gegebenen Region initiiert wird. Der Index des ausgewählten Bereichs wird im Bitstrom an den Dekoder übermittelt. Ferner wird auf der Enkoderseite ein Rate-Distortion-Optimierungsalgorithmus verwendet, um den Bereich zu identifizieren, der die beste Prädiktion für den aktuellen Block bietet. Da die neue Technik ein unabhängiges Prädiktionssignal aus jeder Region erzeugt, ist ihre Prädiktionsgenauigkeit höher als die des herkömmlichen Template-Matching-Prädiktionsalgorithmus. Darüber hinaus ist seine Dekodiererkomplexität erheblich geringer als die herkömmliche Templet-Matching-Prädiktion, da der Suchprozess für den ähnlichen Block nur in der gegebenen Region ausgeführt wird. Zusätzlich wird eine adaptive gewichtete Mittelwertbildungstechnik entwickelt und für eine bereichsbasierte Templet-Matching-Prädiktion eingesetzt, bei der mehrere ähnliche Blöcke für den aktuellen Block aus der gegebenen Region gesammelt werden und ihre Gewichtungen am Ende der Template-Matching-Suchroutine auf der Grundlage ihrer entsprechende Fehlerwerte dynamisch bestimmt werden. Das regionenbasierte Template-Matching-Prädiktionsverfahren wird in dieser Forschungsarbeit sowohl für Intra- als auch für Inter-Picture-Prädiktion untersucht. Weiterhin werden seine unterschiedlichen Parameter bestimmt und ihr Einfluss auf die Kodierleistung im Detail untersucht. Später wird die beste Konfiguration dieser Parameter für Intra- und Inter-Kodierung präsentiert. Abschließend werden die experimentellen Ergebnisse des regionenbasierten Template-Matchings für Intra- und Inter-Picture-Prädiktion sowohl separat als auch kombiniert präsentiert. Die Testergebnisse zeigen, dass der neue Algorithmus hinsichtlich Komprimierung und Recheneffizienz besser ist als das klassische Template-Matching-Prädiktionsverfahren. | de |
| dc.identifier.uri | https://depositonce.tu-berlin.de/handle/11303/17633 | |
| dc.identifier.uri | https://doi.org/10.14279/depositonce-16417 | |
| dc.language.iso | en | |
| dc.rights.uri | https://creativecommons.org/licenses/by/4.0/ | |
| dc.subject.ddc | 620 Ingenieurwissenschaften und zugeordnete Tätigkeiten | de |
| dc.subject.other | video coding | en |
| dc.subject.other | HEVC | en |
| dc.subject.other | VVC | en |
| dc.subject.other | intra prediction | en |
| dc.subject.other | DMVD | en |
| dc.title | Region-based template matching for next generation video coding | en |
| dc.type | Doctoral Thesis | |
| dc.type.version | acceptedVersion | |
| tub.accessrights.dnb | free | |
| tub.affiliation | Fak. 4 Elektrotechnik und Informatik::Inst. Telekommunikationssysteme::FG Medientechnik | |
| tub.publisher.universityorinstitution | Technische Universität Berlin |