Augmented Reality - Positionsgenaue Einblendung räumlicher Informationen in einem See Through Head Mounted Display für die Medizin am Beispiel der Leberchirurgie
| dc.contributor.advisor | Hellwich, Olaf | en |
| dc.contributor.author | Suthau, Tim | en |
| dc.contributor.grantor | Technische Universität Berlin, Fakultät VI - Planen Bauen Umwelt | en |
| dc.date.accepted | 2006-06-13 | |
| dc.date.accessioned | 2015-11-20T17:04:02Z | |
| dc.date.available | 2006-09-22T12:00:00Z | |
| dc.date.issued | 2006-09-22 | |
| dc.date.submitted | 2006-09-22 | |
| dc.description.abstract | Im klinischen Alltag der Chirurgie stellt die Bereitstellung präoperativer Daten eine unverzichtbare Hilfe für den Operateur dar. Diese Daten werden aus präoperativen Aufnahmen (Computertomographie, Magnetresonanztomographie, Ultraschall u.a.) gewonnen. Segmentierungsergebnisse und zwei- bzw. dreidimensionale Darstellungen, welche aus diesen Aufnahmen gewonnen werden, dienen dem Chirurgen zur notwendigen Orientierung während der Operation. Diese Daten können in einer Augmented Reality Umgebung dem Arzt als virtuelle Daten mit Hilfe einer Datenbrille, dem Head Mounted Display, zugänglich gemacht werden. Dem Operateur soll ein Hilfsmittel zur Seite gestellt werden, welches zweckmäßig zusätzliche Informationen darstellt und eine komfortable Navigation ermöglicht. Die exakte Überlagerung der virtuellen Daten mit dem realen Objekt stellt dabei ein wesentliches Grundproblem dar. Der bisherige Einsatz von Augmented Reality in der Medizin wird vorgestellt. Auf der Grundlage dieser Arbeiten und bestehender Szenarien an der Medizinischen und Biologischen Informatik am Krebsforschungszentrum in Heidelberg werden mögliche Komponenten eines Augmented Reality Systems für die medizinische Navigation behandelt und ausgewählt. Die Schwerpunkte dieser Arbeit liegen in der Kalibrierung der Einzelkomponenten und der entsprechenden mathematischen Modellierung der Zusammenhänge zwischen den einzelnen Komponenten. Hierzu gehören Verfahren des optischen Tracking. Der räumliche Bezug der Kamera zum Objektraum wird teilweise mit nur einem geeigneten Marker hergestellt. Dies schließt die entsprechende Kalibrierung inklusive Verzeichnung der verwendeten CCD Kamera ein. Ebenso wird das benutzte Head Mounted Display in die Anwendung einbezogen. Das hier verwendete Virtual Retinal Display muss hinsichtlich möglicher Besonderheiten untersucht und entsprechend kalibriert werden. Ein Grundproblem solcher Anwendungen stellt das mögliche Verrutschen des Displays beim Tragen des Systems dar. Die vorherige Kalibrierung des Head Mounted Display wird zerstört, eine genaue Überlagerung der virtuellen Daten mit dem Objekt kann nicht mehr gewährleistet werden. Durch die Anbindung eines Eye Tracking Device wird ein Verfahren vorgestellt, welches es erstmals ermöglicht das Verrutschen des Displays zu erkennen und die Kalibrierung/Überblendung entsprechend zu verbessern. Dadurch entfällt die erneute Kalibrierung des Systems. Der Nutzer kann das Display mehrmalig auf- und absetzen, ohne die Kalibrierung wiederholen zu müssen. Aufgrund der geometrischen Konstellation erfordert der Einsatz des Eye Tracking Device besondere Anstrengungen hinsichtlich der Genauigkeit. Das Eye Tracking erfolgt auf der Grundlage kantenbasierter Algorithmen zur Detektion der Pupille mit Sub-Pixel Auflösung. Durch die kombinierte Erfassung der Pupille und des Cornealen Reflexes wird es möglich, das Verrutschen des Displays von Augenbewegungen zu unterscheiden. Die Einzelkomponenten und das Gesamtsystem werden evaluiert und besonders hinsichtlich der Genauigkeit betrachtet. | de |
| dc.description.abstract | This study analyzes the accurate superimposition of spatial information on a See Through Head Mounted Display. The analysis is conducted on the background of a medical approach, normally computer aided liver surgery. In the normal course of clinical life preoperative imaging studies of the patient, such as computer tomography and magnetic resonance imaging, provide the necessary views of the internal anatomy. Based on these images the surgeon can orientate herself during the surgery. Augmented reality can be applied so that the surgical team is provided with the necessary information. The main problem is the accurate superimposition of the virtual data with the real object. The current use of augmented reality in medical approaches is shown. Based on scenarios of the Div. Medical and Biological Informatics at German Cancer Centre (DKFZ) the components of an augmented reality system are recommended. The study focuses on the calibration and the mathematical modeling of all components and geometrical relations, including optical tracking. The spatial relation between object space and camera can be inferred with only one marker. Camera calibration including calculation of the distortions is necessary. The Head Mounted Display is integrated into the model. The Virtual Retinal Display used, is calibrated and analyzed regarding special features. A core problem of such an approach is the case of slipping of the Head Mounted Display with respect to the wearer’s eyes. The prior calibration is destroyed with each movement of the display; the accurate superimposition of the virtual data with the object is then unsustainable. For the first time an approach is described to detect the slippage and correct the calibration. The user is able to put the display off and on again without any recalibration. Due to the geometric configuration of the eye tracking device major efforts are necessary to advice a sufficient accuracy. The eye tracking procedure is based on edge detection algorithms of the pupil with sub pixel resolution. By combined detection of the pupil and the cornea reflection is it possible to distinguish the slippage from eye movements. The components and the whole system are evaluated and analyzed in particular with respect to accuracy. | en |
| dc.identifier.uri | urn:nbn:de:kobv:83-opus-13804 | |
| dc.identifier.uri | https://depositonce.tu-berlin.de/handle/11303/1729 | |
| dc.identifier.uri | http://dx.doi.org/10.14279/depositonce-1432 | |
| dc.language | German | en |
| dc.language.iso | de | en |
| dc.rights.uri | http://rightsstatements.org/vocab/InC/1.0/ | en |
| dc.subject.ddc | 620 Ingenieurwissenschaften und zugeordnete Tätigkeiten | en |
| dc.subject.other | Bildverarbeitung | de |
| dc.subject.other | Computer Vision | de |
| dc.subject.other | Computergestützte Chirurgie | de |
| dc.subject.other | Display | de |
| dc.subject.other | Navigation | de |
| dc.subject.other | Augmented reality | en |
| dc.subject.other | Computer aided surgery | en |
| dc.subject.other | Computer vision | en |
| dc.subject.other | Eye tracking | en |
| dc.subject.other | Head mounted display | en |
| dc.title | Augmented Reality - Positionsgenaue Einblendung räumlicher Informationen in einem See Through Head Mounted Display für die Medizin am Beispiel der Leberchirurgie | de |
| dc.title.translated | Augmented Reality - Accurate superimposition of spatial information on a See Through Head Mounted Display in computer aided surgery on example of liver surgery | en |
| dc.type | Doctoral Thesis | en |
| dc.type.version | publishedVersion | en |
| tub.accessrights.dnb | free | * |
| tub.affiliation | Fak. 6 Planen Bauen Umwelt::Inst. Geodäsie und Geoinformationstechnik | de |
| tub.affiliation.faculty | Fak. 6 Planen Bauen Umwelt | de |
| tub.affiliation.institute | Inst. Geodäsie und Geoinformationstechnik | de |
| tub.identifier.opus3 | 1380 | |
| tub.identifier.opus4 | 1339 | |
| tub.publisher.universityorinstitution | Technische Universität Berlin | en |
Files
Original bundle
1 - 1 of 1