Thumbnail Image

Exploring perception through the eyes

from eye tracking to visual saliency and mental imagery

Wang, Xi

Everyday a huge amount of visual information enters the human brain through the eyes; meanwhile, a considerable amount of information is revealed by the eyes. The unique yet complex combination of the various roles of the eyes offer valuable opportunities to understand human perception, cognitive processing (e.g. visual search, recognition, and decision making), as well as mental states, and to apply this knowledge in practical applications. This thesis studies the role of eye movements in both, the inward and outward path of the information flow. More specifically, we focus on how people look at 3D objects during perception and how people move their eyes while looking at nothing. We also investigate how eye movements could be exploited in practical scenarios. This thesis makes contributions in the intersection of fields of psychology, computer graphics and human-computer interactions, and provides the building blocks for future studies. Part I includes developments of 3D gaze tracking system and a study focused on bias in vergence related computations. Part II presents the studies of measuring visual saliency on 3D printed objects. More precisely, it describes the data collection method which uses the system developed in Part I for 3D gaze tracking, and presents several experimental results on where people look at on 3D printed objects. Part III describes the development of computational methods to reveal information contained in eye movements while looking in front of an empty space following the well-established looking-at-nothing phenomenon in psychology. Chapter 7 describes computational methods of image retrieval based on looking-at-nothing eye movements and Chapter 8 studies the prioritization of scene elements in episodic memory by examining the recalled content during looking at nothing. The proposed computational methods allow us to explore the information revealed by eye movements during recall and provide new insights into the looking-at-nothing phenomenon.
Einerseits strömt eine große Menge visueller Information durch die Augen in das Gehirn. Andererseits, verraten die Augen auch eine beträchtliche Menge an Informationen. Die einzigartige aber auch sehr komplexe Kombination der verschiedenen Aufgaben der Augen bietet wertvolle Möglichkeiten sowohl menschliche visuelle Wahrnehmung, kognitive Prozesse (z.B. visuelle Suche, Erkennungs- und Entscheidungsprozesse) und mentale Zustände zu verstehen, als auch dieses Wissen in praktischen Anwendungen zu nutzen. Diese Arbeit untersucht die Rolle von Augenbewegungen während dem nach innen als auch dem nach außen gerichteten Informationsfluss. Insbesondere fokussiert die Arbeit darauf wie Menschen 3D Objekte während aktiver Wahrnehmung betrachten und wie sie ihre Augen bewegen während sich nichts betrachten. Des Weiteren untersucht diese Arbeit wie Augenbewegungen in praktischen Anwendungen genutzt werden können. Diese Arbeit liefert Beiträge an der Schnittstelle zwischen Psychologie, Computergrafik und Mensch-Maschine-Interaktion und stellt entsprechende Bausteine für zukünftige Studien zur Verfügung. Teil I beschreibt die Entwicklung eines Systems zur Blickverfolgung in 3D und beinhaltet eine Studie zum Bias bei vergenz-bezogenen Berechnungen. Teil II präsentiert Studien bezüglich der Messung visueller Markantheit gedruckter 3D Objekte. Dieser Teil beschreibt die Methode der Datenaufnahme, welche das System aus Teil I zur 3D Blickverfolgung nutzt, und präsentiert mehrere experimentelle Ergebnisse welche Teile von gedruckten 3D Objekten Menschen am häufigsten betrachten. Teil III beschreibt die Entwicklung von Berechnungsmethoden, mit denen Informationen aufgedeckt werden, die in den Augenbewegungen enthalten sind welche ausgeführt werden wenn ein leerer Raum betrachtet wird (nach dem gut bekannten “looking-at-nothing Phänomen in der Psychologie). Kapitel 7 beschreibt Berechnungsmethoden zur Bildsuche aufbauend auf looking-at-nothing Augenbewegungen und Kapitel 8 untersucht die Priorisierung von Szenenelementen im episodischen Gedächtnis durch die Analyse des während looking-at-nothing ins Gedächtnis gerufenen Szeneninhalts. Die vorgeschlagenen Berechnungsmethoden erlauben die Informationen zu erforschen welche durch Augenbewegungen während des Erinnerns zugänglich sind und bieten neue Einsichten in das looking-at-nothing Phänomen.