Loading…
Estimation and analysis of motion in video data
Senst, Tobias
FG Nachrichtenübertragung
Motion plays an important role in machine perception to automatically analyze the content of sceneries which have been captured by video cameras. The information obtained from moving objects and surfaces allows the dynamical behavior of entities on different abstraction levels to be analyzed and is a decisive element for the understanding of the scenery. The technical concept of optical flow was first presented in 1980 as a powerful low-level feature for the capture of motion. The on-going improvements in this area have led to very precise and reliable motion estimation algorithms. Thus, the analysis of motion information have become an important part in most video-based surveillance, classification and video processing systems.
In this thesis, the estimation and analysis of motion in video is investigated. In the context of motion estimation, an advanced local optical flow approach with outstanding run-time characteristics is described. This approach is characterized by its accuracy and a scalability with respect to computational load. As for many video analytic systems, computational efficiency, i.e. real-time capability, plays a crucial role and scalability is a solution for overcoming obstacles in the application of estimating motion. The developed algorithm is further extended by an image-based interpolation scheme for fast dense motion estimation. Compared to other state-of-the-art methods, it is the most accurate optical flow method which performs beyond 1 frame per second.
In the context of motion analysis, this work presents a novel Lagrangian-based framework to understand and compactly characterize dynamic motion phenomena. The proposed approach tailors Lagrangian concepts with respect to optical flow and introduces the Lagrangian fields. These fields are the basis for a novel scalable motion representation that allows one to capture and quantify complex time-dependent motion features on variable temporal ranges.
As proof of concept, the Lagrangian framework is integrated in four selected video-based surveillance applications: crowd motion visualization, people carrying baggage recognition, human action recognition and violence detection. The described applications show how easy it is to deploy the proposed concept to existing image and video-based methods and advance them towards the Lagrangian notion. The experimental results demonstrate the improved performances of the Lagrangian-based applications due to their
Bewegung spielt eine wichtige Rolle im Bereich des maschinellen Sehens und insbesondere der automatischen Analyse von Videodaten. Die Information, die sich aus der Bewegung von Objekten und Oberflächen in einer Videosequenz ergibt, erlaubt es Rückschlüsse über das dynamische Verhalten von Entitäten in verschiedensten Abstraktionsebenen zu ziehen. Sie ist somit ein wichtiges Werkzeug für das Verständnis der beobachteten Szenerie. Die Bewegungserfassung kann dabei durch das in 1980 in die Videoverarbeitung übertragene Prinzip des Optischen Flusses ermöglicht werden. Nicht zuletzt durch die hohe Präzision und Zuverlässigkeit moderner Optischer Flussalgorithmen ist die Analyse von Bewegungsinformation ein wichtiger Bestandteil heutiger Videoüberwachungs-, Klassifikations- und Verarbeitungssysteme.
In dieser Arbeit werden die Berechnung und die Analyse von Bewegung in Videos beleuchtet. Im Rahmen der Bewegungsberechnung wird ein erweiterter lokaler Optischer Flussansatz beschrieben, der sich durch seine hohe Genauigkeit, sein effizientes Laufzeitverhalten und seine gute Skalierbaren in Bezug auf dem Rechenaufwand auszeichnet. Der entwickelte Ansatz wird in ein bildbasiertes Interpolationskonzept integriert, welches die schnelle Berechnung von dichten Flussfeldern unter einer Sekunde ermöglicht. Dabei übertrifft die Qualität der Ergebnisse jene aktueller Methoden, die eine Laufzeit von über 1 Bild pro Sekunde besitzen.
Im Rahmen der Bewegungsanalyse wird ein neues Framework basierend auf der Lagrange-Methodologie beschrieben, mit dem dynamische Bewegungsphänomene kompakt charakterisiert und verarbeitet werden können. Mit diesem Ansatz findet eine Übertragung von Konzepten aus der Lagrange-Methodologie auf das Anwendungsgebiet des Optischen Flusses statt, und führt so zu den Lagrange-Feldern. Diese Felder bilden die Basis für eine neue skalierbare Bewegungsrepräsentation, die es erlaubt komplexe zeitveränderliche Bewegungsmerkmale aus variierenden Zeiträumen zu erfassen.
Für den Proof of Concept wird das Lagrange-Framework für vier Anwendungen im Bereich der Videoüberwachung integriert: der Visualisierung von Menschenströmen, Erkennungen von Personen mit Gepäckstücken, Erkennung von menschlichen Aktionen, Erkennung von Gewalt. Die Beispiele zeigen, wie einfach das entwickelte Konzept in bestehende Algorithmen integriert und diese hinsichtlich der Lagrange-Methodologie erweitert und damit verbessert werden können. Dadurch sind die entwickelten Anwendungen nun in der Lage, komplexe Langzeit- und Kurzzeitbewegungsmerkmale zu verarbeiten, wodurch eine deutliche Verbesserung der Ergebnisse erreicht wird.
