Loading…
Thumbnail Image

Deformation and transport of image data

Neumayer, Sebastian Jonas

Image and data processing have become increasingly important over recent years. In particular, robust distance measures and transformation methods on large and perturbed data sets are of growing interest. These tasks become even more challenging if the measurement locations are distributed on some manifold or if the data itself has a manifold structure. In this thesis, we start by examining a time discrete manifold-valued morphing model together with a time continuous counterpart which includes a variational inequality and is inspired by the classical metamorphosis approach. For both models, existence of minimizers is shown under the assumption that the data lies in a finite-dimensional Hadamard manifold. Further, we prove Mosco convergence of the time discrete model to the time continuous one. Then, we propose to use the real-valued version of this model as variational regularizer for inverse problems if some template image is available. As this incorporates additional information into the reconstruction process, such an approach is particularly useful if the data is sparse. In cases where an even stronger regularization is necessary, we propose to use a more restrictive flow of diffeomorphism based model instead. Additionally, increased robustness to intensity differences between template and ground-truth is achieved by using a distance measure based on normalized cross-correlation. These modifications enable us to obtain promising reconstructions for computed tomography with a very sparse number of angles. For both models existence, stability and convergence for vanishing noise are proven. Besides metamorphosis and flow of diffeomorphism, we are interested in optimal transport between images. More precisely, we investigate Sinkhorn divergences, which interpolate between optimal transport and discrepancies. Here, we focus on the behavior of the corresponding optimal dual potentials and establish a relation between their limits as the regularization parameter goes to infinity and the optimal potential of the associated discrepancy. Additionally, we compare these different distance measures for a process called dithering. Finally, we investigate the approximation of probability measures on compact metric spaces and in particular on Riemannian manifolds by measures supported on Lipschitz curves. For this purpose, the approximation quality is assessed in terms of discrepancies as these do not suffer from the so-called curse of dimensionality. % Potential applications are 3D printing and magnetic resonance imaging. While we also investigate the general case via the traveling salesman approach, a strong focus lies on the push-forward of the Lebesgue measure on the unit interval by Lipschitz continuous curves. Here, we utilize a result on the quadrature error achievable by integration with respect to a measure that exactly integrates all eigenfunctions of the Laplace--Beltrami operator with eigenvalues smaller than a fixed number. In particular, this enables us to provide optimal approximation rates in terms of the curve's length and Lipschitz constant for measures fulfilling smoothness requirements. All results established in this thesis are illustrated by numerical proof-of-concept examples and comparisons. These include real-world data experiments in particular for our flow of diffeomorphism based reconstruction model. For the necessary discrepancy evaluations, recent fast Fourier transform techniques on certain manifolds are exploited.
Bild- und Datenverarbeitung haben in den letzten Jahren zunehmend an Bedeutung gewonnen. Dabei haben sich insbesondere robuste Abstandsmaße und Transformationsmethoden für große und gestörte Datensätze als wichtig erwiesen. Diese Aufgaben werden noch komplizierter, wenn die Messpunkte auf einer Mannigfaltigkeit verteilt sind oder wenn die Daten selbst eine Mannigfaltigkeitsstruktur besitzen. In dieser Arbeit untersuchen wir zunächst ein zeitdiskretes Morphing-Modell für mannigfaltigkeitswertige Bilder zusammen mit einem zeitkontinuierlichen Pendant, welches auf einer Variationsungleichung basiert und vom klassischen Metamorphosis Modell inspiriert ist. Für beide Ansätze wird die Existenz von Minimierern unter der Annahme gezeigt, dass die Daten in einer endlichdimensionalen Hadamard-Mannigfaltigkeit liegen. Außerdem beweisen wir die Mosco-Konvergenz des zeitdiskreten Modells gegen das zeitkontinuierliche Modell. Falls ein geeignetes Referenzbild verfügbar ist, wollen wir die reellwertige Version dieses Modells als Regularisierer für das Lösen inverser Probleme verwenden. Da hierdurch zusätzliche Information in den Rekonstruktionsprozess eingebunden wird, ist ein solcher Ansatz insbesondere dann nützlich, wenn die Daten unvollständig sind. Ist eine noch stärkere Regularisierung erforderlich, verwenden wir stattdessen ein restriktiveres und auf dem Fluss des Diffeomorphismus basierendes Modell. Zusätzlich kann die Robustheit gegenüber Intensitätsunterschieden zwischen Referenzbild und dem unbekannten Signal durch die Verwendung eines auf der normalisierten Kreuzkorrelation basierenden Abstandsmaßes verbessert werden. Diese Modifikationen ermöglichen es uns, vielversprechende Rekonstruktionen für Computertomografie mit einer sehr geringen Anzahl von Winkeln zu erhalten. Für beide Modelle werden Existenz, Stabilität und Konvergenz für verschwindendes Rauschen gezeigt. Neben dem Metamorphosis und dem Fluss des Diffeomorphismus Modell sind wir auch an optimalem Transport zwischen Bildern interessiert. Genauer gesagt untersuchen wir Sinkhorn-Divergenzen, die zwischen optimalem Transport und Diskrepanzen interpolieren. In dieser Arbeit konzentrieren wir uns auf das Verhalten der entsprechenden optimalen dualen Potentiale und stellen eine Beziehung zwischen ihren Grenzwerten für wachsende Regularisierungsparameter und dem optimalen Potential der zugehörigen Diskrepanz her. Zusätzlich vergleichen wir die vorgestellten Abstandsmaße für einen Prozess namens "Dithering". Schließlich untersuchen wir die Approximation von Wahrscheinlichkeitsmaßen auf kompakten metrischen Räumen und insbesondere auf Riemannschen Mannigfaltigkeiten durch Maße, deren Träger eine lipschitzstetige Kurve ist. Zu diesem Zweck wird die Approximationsqualität anhand von Diskrepanzen beurteilt, da diese nicht vom sogenannten Fluch der Dimension betroffen sind. Während wir auch den allgemeinen Fall über das Problem des Handlungsreisenden untersuchen, liegt der Fokus auf Bildmaßen vom Lebesgue-Maß auf dem Einheitsintervall bezüglich lipschitzstetiger Kurven. Hierbei verwenden wir ein Ergebnis zum Quadraturfehler bezüglich der Integration mit Maßen, welche Eigenfunktionen des Laplace--Beltrami Operators mit Eigenwerten kleiner einer festen Zahl exakt integrieren. Insbesondere können wir dadurch optimale Approximationsraten in Abhängigkeit der Kurvenlänge und der Lipschitz-Konstante für Maße zeigen, die zusätzliche Glattheitseigenschaften erfüllen. Alle in dieser Arbeit erzielten Ergebnisse werden durch numerische Konzeptnachweise und Vergleiche sowie Experimente mit realen Daten insbesondere für unser auf dem Fluss des Diffeomorphismus basierenden Rekonstruktionsmodell veranschaulicht. Für die notwendigen Diskrepanzberechnungen werden vor kurzem entwickelte schnelle Fourier-Transformationstechniken auf ausgewählten Mannigfaltigkeiten genutzt.