Loading…
Thumbnail Image

Generative adversarial networks for medical image synthesis in stroke

Kossen, Tabea

FG Computer Vision & Remote Sensing

Stroke is one of the leading causes of death worldwide. Medical imaging techniques such as magnetic resonance imaging offer the possibility to extract essential individual information about the disease that allowed for better patient care in the past decades. The advancement in computational power and increase in data availability has led to the rise of Deep Learning (DL) models, also for medical images. While DL methods have shown promising results in automating the processing of medical images, a major challenge remains data availability, as acquiring medical data is expensive and time-consuming. Additionally, medical images often need to be annotated by medical experts to be useful for DL models. A solution to this would be data sharing, but this is often hindered by privacy regulations. To sustain the patient’s privacy and still allow for data sharing, synthesizing artificial images could be an encouraging remedy. For this, Generative Adversarial Networks (GANs) are gaining much attention. GANs usually consist of two competing neural networks with one network, the generator, synthesizing data samples. In contrast, the other network, the discriminator, judges how realistic the sample looks and provides feedback to both networks. In this thesis, we generate synthetic images using different GANs for two purposes in the stroke domain: sharing of labeled images and automated image processing for treatment planning. In the first part, we synthesize medical image patches for segmentation along with their respective segmentation labels. We evaluate our synthetic data by training a segmentation network on synthetic data and testing their performance on real data. In a next step, we simulate the positive influence of sharing our synthetic data in terms of segmentation performance and also extend our framework to generate 3D patches, thereby capturing more spatial information. Additionally, we infuse noise in the discriminator during the GAN training to generate privacy-preserving 2D patches leveraging the mathematical concept of differential privacy. In this way, we quantify the level of privacy for our generated patches and investigate the trade-off between privacy and the utility of our artificial data. The second part addresses a second application of GANs for image synthesis: the automatic processing of perfusion-weighted imaging for stroke treatment planning. Here, we propose a GAN variant for image-to-image translations with additional temporal convolutions in the generator. We test our network on data including both acute stroke patients and patients with chronic cerebrovascular disease and achieve high performance in both cases. In this thesis, we demonstrate the potential of utilizing GANs for image synthesis in the field of stroke imaging. Our results are promising both for data sharing as well as for automated image processing. In the future, GANs could substantially increase the data availability in the medical field and also contribute to better treatment planning in stroke.
Der Schlaganfall ist weltweit eine der häufigsten Todesursachen. Medizinische Bildgebungsverfahren wie die Magnetresonanztomographie bieten die Möglichkeit, wesentliche individuelle Informationen über die Krankheit zu extrahieren, was in den vergangenen Jahrzehnten eine bessere Patientenversorgung ermöglichte. Der Fortschritt bei der Rechenleistung und die zunehmende Datenverfügbarkeit haben zum Aufkommen von Deep-Learning-Modellen (DL-Modellen) geführt, auch für medizinische Bilder. Während DL-Methoden vielversprechende Ergebnisse bei der automatisierten Verarbeitung medizinischer Bilder gezeigt haben, bleibt die Datenverfügbarkeit eine große Herausforderung, da die Beschaffung medizinischer Daten teuer und zeitaufwändig ist. Außerdem müssen medizinische Bilder oft von medizinischen Experten annotiert werden, um für DL-Modelle nützlich zu sein. Eine Lösung für dieses Problem wäre das Teilen von Daten, was jedoch häufig durch Datenschutzbestimmungen behindert wird. Um die Privatsphäre des Patienten zu wahren und dennoch die gemeinsame Nutzung von Daten zu ermöglichen, könnte die Synthese künstlicher Bilder eine vielversprechende Abhilfe schaffen. Zu diesem Zweck gewinnen Generative Adversarial Networks (GANs) zunehmend an Aufmerksamkeit. GANs bestehen in der Regel aus zwei konkurrierenden neuronalen Netzen, wobei ein Netz, der Generator, Daten synthetisiert. Im Gegensatz dazu beurteilt das andere Netz, der Diskriminator, wie realistisch die Daten aussehen und gibt beiden Netzwerken Rückmeldung. In dieser Arbeit erzeugen wir synthetische Bilder mit Hilfe verschiedener GANs für zwei Probleme im Schlaganfallbereich: das Teilen von annotierten Bildern und automatische Bildverarbeitung für die Behandlungsplanung. Im ersten Teil synthetisieren wir medizinische Bildausschnitte für ein Segmentierungsproblem zusammen mit ihren entsprechenden Segmentierungslabel. Wir evaluieren unsere synthetischen Daten durch das Training eines Segmentierungsnetzwerks, das auf synthetischen Daten trainiert und ihre Performanz auf realen Daten getestet wird. In einem nächsten Schritt simulieren wir den positiven Einfluss der gemeinsamen Nutzung unserer synthetischen Daten auf die Segmentierungsleistung und erweitern unser Netzwerk, um 3D-Patches zu generieren und so mehr räumliche Informationen zu erfassen. Außerdem fügen wir während des GAN-Trainings Rauschen in den Diskriminator ein, um datenschutzfreundliche 2D-Patches zu erzeugen. Um 2D-Bildausschnitte zu erzeugen, die die Privatsphäre bewahren, nutzen wir das mathematische Konzept der differential privacy. Auf diese Weise quantifizieren wir den Grad der Privatsphäre für die von uns erzeugten Patches und untersuchen den Kompromiss zwischen Privatsphäre und dem Nutzen unserer künstlichen Daten. Der zweite Teil befasst sich mit einer zweiten Anwendung von GANs für die Bildsynthese: die automatische Verarbeitung von Perfusionsbildern für die Planung der Schlaganfallbehandlung. Hier schlagen wir eine GAN-Variante für Bild-zu-Bild-Übersetzungen mit einer zusätzlichen temporalen Komponente im Generator vor. Wir testen unser Netzwerk an Daten, die sowohl akute Schlaganfallpatienten als auch Patienten mit chronischen zerebrovaskulären Erkrankungen umfassen und erreichen in beiden Fällen eine hohe Performanz. In dieser Dissertation demonstrieren wir das Potenzial des Einsatzes von GANs für die Bildsynthese im Bereich der Schlaganfall-Bildgebung. Unsere Ergebnisse sind sowohl für das Teilen von Daten als auch für die automatisierte Bildverarbeitung vielversprechend. In Zukunft könnten GANs die Datenverfügbarkeit im medizinischen Bereich deutlich erhöhen und auch zu einer besseren Behandlungsplanung bei Schlaganfall beitragen.