Generative adversarial networks for medical image synthesis in stroke
| dc.contributor.advisor | Hennemuth, Anja | |
| dc.contributor.author | Kossen, Tabea | |
| dc.contributor.grantor | Technische Universität Berlin | |
| dc.contributor.referee | Hennemuth, Anja | |
| dc.contributor.referee | Hildebrand, Kristian | |
| dc.contributor.referee | RĂ¼ckert, Daniel | |
| dc.date.accepted | 2022-09-30 | |
| dc.date.accessioned | 2022-10-31T15:55:17Z | |
| dc.date.available | 2022-10-31T15:55:17Z | |
| dc.date.issued | 2022 | |
| dc.description.abstract | Stroke is one of the leading causes of death worldwide. Medical imaging techniques such as magnetic resonance imaging offer the possibility to extract essential individual information about the disease that allowed for better patient care in the past decades. The advancement in computational power and increase in data availability has led to the rise of Deep Learning (DL) models, also for medical images. While DL methods have shown promising results in automating the processing of medical images, a major challenge remains data availability, as acquiring medical data is expensive and time-consuming. Additionally, medical images often need to be annotated by medical experts to be useful for DL models. A solution to this would be data sharing, but this is often hindered by privacy regulations. To sustain the patient’s privacy and still allow for data sharing, synthesizing artificial images could be an encouraging remedy. For this, Generative Adversarial Networks (GANs) are gaining much attention. GANs usually consist of two competing neural networks with one network, the generator, synthesizing data samples. In contrast, the other network, the discriminator, judges how realistic the sample looks and provides feedback to both networks. In this thesis, we generate synthetic images using different GANs for two purposes in the stroke domain: sharing of labeled images and automated image processing for treatment planning. In the first part, we synthesize medical image patches for segmentation along with their respective segmentation labels. We evaluate our synthetic data by training a segmentation network on synthetic data and testing their performance on real data. In a next step, we simulate the positive influence of sharing our synthetic data in terms of segmentation performance and also extend our framework to generate 3D patches, thereby capturing more spatial information. Additionally, we infuse noise in the discriminator during the GAN training to generate privacy-preserving 2D patches leveraging the mathematical concept of differential privacy. In this way, we quantify the level of privacy for our generated patches and investigate the trade-off between privacy and the utility of our artificial data. The second part addresses a second application of GANs for image synthesis: the automatic processing of perfusion-weighted imaging for stroke treatment planning. Here, we propose a GAN variant for image-to-image translations with additional temporal convolutions in the generator. We test our network on data including both acute stroke patients and patients with chronic cerebrovascular disease and achieve high performance in both cases. In this thesis, we demonstrate the potential of utilizing GANs for image synthesis in the field of stroke imaging. Our results are promising both for data sharing as well as for automated image processing. In the future, GANs could substantially increase the data availability in the medical field and also contribute to better treatment planning in stroke. | en |
| dc.description.abstract | Der Schlaganfall ist weltweit eine der häufigsten Todesursachen. Medizinische Bildgebungsverfahren wie die Magnetresonanztomographie bieten die Möglichkeit, wesentliche individuelle Informationen Ă¼ber die Krankheit zu extrahieren, was in den vergangenen Jahrzehnten eine bessere Patientenversorgung ermöglichte. Der Fortschritt bei der Rechenleistung und die zunehmende DatenverfĂ¼gbarkeit haben zum Aufkommen von Deep-Learning-Modellen (DL-Modellen) gefĂ¼hrt, auch fĂ¼r medizinische Bilder. Während DL-Methoden vielversprechende Ergebnisse bei der automatisierten Verarbeitung medizinischer Bilder gezeigt haben, bleibt die DatenverfĂ¼gbarkeit eine groĂŸe Herausforderung, da die Beschaffung medizinischer Daten teuer und zeitaufwändig ist. AuĂŸerdem mĂ¼ssen medizinische Bilder oft von medizinischen Experten annotiert werden, um fĂ¼r DL-Modelle nĂ¼tzlich zu sein. Eine Lösung fĂ¼r dieses Problem wäre das Teilen von Daten, was jedoch häufig durch Datenschutzbestimmungen behindert wird. Um die Privatsphäre des Patienten zu wahren und dennoch die gemeinsame Nutzung von Daten zu ermöglichen, könnte die Synthese kĂ¼nstlicher Bilder eine vielversprechende Abhilfe schaffen. Zu diesem Zweck gewinnen Generative Adversarial Networks (GANs) zunehmend an Aufmerksamkeit. GANs bestehen in der Regel aus zwei konkurrierenden neuronalen Netzen, wobei ein Netz, der Generator, Daten synthetisiert. Im Gegensatz dazu beurteilt das andere Netz, der Diskriminator, wie realistisch die Daten aussehen und gibt beiden Netzwerken RĂ¼ckmeldung. In dieser Arbeit erzeugen wir synthetische Bilder mit Hilfe verschiedener GANs fĂ¼r zwei Probleme im Schlaganfallbereich: das Teilen von annotierten Bildern und automatische Bildverarbeitung fĂ¼r die Behandlungsplanung. Im ersten Teil synthetisieren wir medizinische Bildausschnitte fĂ¼r ein Segmentierungsproblem zusammen mit ihren entsprechenden Segmentierungslabel. Wir evaluieren unsere synthetischen Daten durch das Training eines Segmentierungsnetzwerks, das auf synthetischen Daten trainiert und ihre Performanz auf realen Daten getestet wird. In einem nächsten Schritt simulieren wir den positiven Einfluss der gemeinsamen Nutzung unserer synthetischen Daten auf die Segmentierungsleistung und erweitern unser Netzwerk, um 3D-Patches zu generieren und so mehr räumliche Informationen zu erfassen. AuĂŸerdem fĂ¼gen wir während des GAN-Trainings Rauschen in den Diskriminator ein, um datenschutzfreundliche 2D-Patches zu erzeugen. Um 2D-Bildausschnitte zu erzeugen, die die Privatsphäre bewahren, nutzen wir das mathematische Konzept der differential privacy. Auf diese Weise quantifizieren wir den Grad der Privatsphäre fĂ¼r die von uns erzeugten Patches und untersuchen den Kompromiss zwischen Privatsphäre und dem Nutzen unserer kĂ¼nstlichen Daten. Der zweite Teil befasst sich mit einer zweiten Anwendung von GANs fĂ¼r die Bildsynthese: die automatische Verarbeitung von Perfusionsbildern fĂ¼r die Planung der Schlaganfallbehandlung. Hier schlagen wir eine GAN-Variante fĂ¼r Bild-zu-Bild-Ăœbersetzungen mit einer zusätzlichen temporalen Komponente im Generator vor. Wir testen unser Netzwerk an Daten, die sowohl akute Schlaganfallpatienten als auch Patienten mit chronischen zerebrovaskulären Erkrankungen umfassen und erreichen in beiden Fällen eine hohe Performanz. In dieser Dissertation demonstrieren wir das Potenzial des Einsatzes von GANs fĂ¼r die Bildsynthese im Bereich der Schlaganfall-Bildgebung. Unsere Ergebnisse sind sowohl fĂ¼r das Teilen von Daten als auch fĂ¼r die automatisierte Bildverarbeitung vielversprechend. In Zukunft könnten GANs die DatenverfĂ¼gbarkeit im medizinischen Bereich deutlich erhöhen und auch zu einer besseren Behandlungsplanung bei Schlaganfall beitragen. | de |
| dc.identifier.uri | https://depositonce.tu-berlin.de/handle/11303/17618 | |
| dc.identifier.uri | https://doi.org/10.14279/depositonce-16401 | |
| dc.language.iso | en | |
| dc.relation.haspart | 10.14279/depositonce-16706 | |
| dc.relation.haspart | 10.14279/depositonce-16707 | |
| dc.rights.uri | http://rightsstatements.org/vocab/InC/1.0/ | |
| dc.subject.ddc | 610 Medizin und Gesundheit | de |
| dc.subject.ddc | 006 Spezielle Computerverfahren | de |
| dc.subject.other | generative adversarial networks | en |
| dc.subject.other | image synthesis | en |
| dc.subject.other | stroke | en |
| dc.subject.other | anonymization | en |
| dc.subject.other | image-to-image translation | en |
| dc.subject.other | Bildgenerierung | de |
| dc.subject.other | Schlaganfall | de |
| dc.subject.other | Anonymisierung | de |
| dc.subject.other | Bild-zu-Bild Ăœbersetzung | de |
| dc.title | Generative adversarial networks for medical image synthesis in stroke | en |
| dc.title.translated | Generative Adversarial Networks fĂ¼r die medizinische Bildsynthese bei Schlaganfall | de |
| dc.type | Doctoral Thesis | |
| dc.type.version | acceptedVersion | |
| tub.accessrights.dnb | domain | |
| tub.affiliation | Fak. 4 Elektrotechnik und Informatik::Inst. Technische Informatik und Mikroelektronik::FG Computer Vision & Remote Sensing | |
| tub.publisher.universityorinstitution | Technische Universität Berlin |