Loading…
Advancing computer vision algorithms to overcome challenges in computational pathology
Hägele, Theresa Miriam
Deep learning advancements in computer vision have led to substantially improved performances which for a few tasks even exceed the respective performance of human subjects. These great successes combined with the availability of large quantities of routinely obtained histological images make the application of computer vision algorithms to computational pathology very promising. The benefits are hereby two-fold: On one hand machine learning models can support pathologists in their day-to-day tasks in routine diagnostics, where they aim to reduce the practitioners’ workload as well as decrease interobserver variability. On the other hand machine learning models offer the potential to discover new candidates of biomarkers due to their large capacity of data throughput.
However, applying computer vision algorithms to histological images poses several challenges. These are mainly caused by image domain differences between natural and histological images and specific requirements to medical image analyses. In this thesis, we will contribute by addressing three typically encountered challenges in computational pathology.
Firstly, we investigate the various benefits of explanation methods regarding model verification as well as uncovering and subsequently mitigating hidden dataset biases. Due to the consequences of false predictions for patients, it is essential to render the model’s decision transparent to practitioners. Secondly, we address the manual annotation bottleneck in computational pathology. While large quantities of data are available through digitalization of routinely obtained slides, fine-grained annotations are very time-consuming and require domain knowledge. In this regard, we explore the use of information that is inherently available from routine diagnostics, such as the diagnosis and the molecular subtype. In particular, we investigate this in two experiments. In the first experiment, we introduce a loss function to include complementary labels for semantic segmentation, where complementary labels indicate an incorrect class for a sample. This enables us to exploit the patients’ diagnoses in addition to manual, pixel-wise labels. In the second experiment, we leverage weak labels at patient level in a multiple instance learning approach. In particular, we aim to predict a prognostic molecular marker of breast cancer where labels are only available on a per patient basis. As a third contribution, we additionally exploit selective prediction algorithms in the breast cancer experiment to allow the classifier to abstain from certain predictions. Thus, taken the model’s uncertainty into account, we aim to select a subset of patients for which we observe increased predictive performance.
Die Fortschritte des Deep Learnings im Bereich von Computer Vision haben zu erheblich verbesserten Leistungen beigetragen, die bei einigen Aufgaben sogar die Leistungen von menschlichen Probanden übertreffen. Neben diesen großen Erfolge sind es insbesondere die großen Mengen an routinemäßig gewonnenen histologischen Bildern, die die Anwendung von Computer-Vision-Algorithmen in der Pathologie sehr vielversprechend machen. Das hat zwei große Vorteile. Einerseits können maschinelle Lernmodelle Pathologen bei ihren täglichen Aufgaben in der Diagnostik unterstützen und somit die Arbeitsbelastung der Pathologen sowie die Interobserver-Variabilität verringern. Andererseits haben maschinelle Lernmodelle das Potenzial neue Biomarker-Kandidaten zu entdecken, da sie eine große Kapazität an Datendurchsatz besitzen.
Die Anwendung von Computer-Vision-Algorithmen auf histologische Bilder birgt jedoch Herausforderungen. Diese ergeben sich hauptsächlich aus den Unterschieden zwischen natürlichen und histologischen Bildern und den spezifischen Anforderungen an medizinische Bildanalysen. In dieser Arbeit werden wir drei Herausforderungen in der computergestützten Pathologie untersuchen.
Aufgrund der Auswirkungen und Konsequenzen falscher Vorhersagen für Patienten ist es wichtig, die Entscheidung des Modells für den Pathologen transparent zu machen. Deshalb untersuchen wir die Vorteile von Erklärungsmethoden im Hinblick auf die Modellverifizierung und die Aufdeckung und nachfolgende Relativierung versteckter Datensatzverzerrungen. Eine weitere zentrale Herausforderung in der computergestützten Pathologie ist der Engpass bei der manuellen Annotation. Während große Datenmengen durch die Digitalisierung von routinemäßig gewonnenen Objektträgern verfügbar sind, sind feinkörnige Annotationen sehr zeitaufwändig und erfordern Fachwissen. Unterdessen untersuchen wir die Nutzung von Informationen, die routinemäßig aus der Diagnostik zur Verfügung stehen, wie zum Beispiel die Diagnose sowie der molekulare Subtyp des Tumors. Wir untersuchen dies insbesondere in zwei Experimenten. Im ersten Experiment führen wir eine Verlustfunktion ein, um komplementäre Labels in die semantische Segmentierung einzubeziehen. Komplementäre Labels geben hierbei eine inkorrekte Klasse an, sodass wir zusätzlich zu den manuellen, pixelweisen Labels die Diagnosen der Patienten nutzen können. Im zweiten Experiment nutzen wir schwache Labels auf Patientenebene in einem Multiple-Instance-Ansatz. Unser Ziel ist es insbesondere einen prognostischen, molekularen Marker für Brustkrebs vorherzusagen. Hier nutzen wir zusätzlich selektive Vorhersagealgorithmen, die es dem Klassifikator ermöglichen, auf bestimmte Vorhersagen zu verzichten. Unter Berücksichtigung der Unsicherheit des Modells zielen wir so darauf ab, eine Untergruppe von Patienten zu bestimmen für die wir eine erhöhte Vorhersageleistung beobachten.
