Loading…
PeriSense: Ring-based multi-finger gesture interaction utilizing capacitive proximity sensing
Wilhelm, Mathias
Without even noticing it, we are surrounded by a growing number of networked things, the so-called Internet of Things (IoT). Almost all our life areas are included, such as in the smart home, car, or work. However, interacting with these things is still challenging. Most things provide a dedicated user interface, which is rarely interoperable. In particular, cross-domain interaction possibilities are rare. Interaction with the IoT thus requires interaction paradigms with ubiquitous interaction devices that are seamlessly present throughout the users' daily lives and not bound to any specific things.
Speech assistants are a natural and intuitive way to interact with IoT. However, they are not suitable for all interactions, environments, and situations. Finger gesture interaction represents a promising way of interacting in the IoT context. They are versatile and meaningful, as well as unobtrusive and intuitive to execute. Furthermore, recognition can be achieved anywhere and anytime using wearables. Rings represent a promising wearable in this regard. They are worn directly on the finger and can thus directly detect finger movement. However, they can usually only detect the movement of one finger.
This dissertation presents a ring enabling a broad range of multi-finger interactions. It utilizes capacitive sensing to measure the approximate distances to other fingers. A prototype, PeriSense called, was developed and used for the evaluation. This dissertation focuses on evaluating the capabilities and limitations of PeriSense in the application of finger gesture recognition. For this purpose, besides the technical properties, the static and dynamic interaction space was determined. Additionally, the around-device interaction space was also evaluated. Subsequently, a finger tracking algorithm mapping the capacitive sensor readings to finger angles was developed. As a result, at least the motion of three fingers can be tracked, and in the case of predefined natural movements, all five fingers' angles can be estimated.
Finally, four different implemented applications using PeriSense are presented. For the implementation of these applications, a framework was developed. This framework allows the creation of complex interaction pipelines without programming via a JSON-based configuration file.
Overall, the evaluation results reveal that using capacitive sensing enables a broad interaction space involving multiple fingers, as known from other devices like camera-based approaches or data gloves. Consequently, PeriSense would potentially be an unobtrusive interaction device that is available throughout the daily routine.
Wir sind mittlerweile von einer stetig zunehmenden Anzahl an vernetzen Dingen, dem sogenannten Internet der Dinge (IoT), umgeben, ohne es oftmals überhaupt zu bemerkten. Dabei gibt es keinen Lebensbereich mehr, der davon ausgenommen ist. Sei es zum Beispiel das Smart Home, das Auto, oder das vernetzte Arbeitsumfeld. Die Interaktion mit diesen Dingen ist jedoch noch herausfordernd. Die meisten Objekte besitzen eine dedizierte Benutzerschnittstelle, welche nur selten interoperabel ist. Insbesondere Domänenübergreifende Interaktionsmöglichkeiten sind rar. Die Interaktion im Kontext von IoT benötigt daher Interaktionsparadigmen, mit allgegenwärtigen Interaktionsgeräten, die nahtlos im Alltag der Nutzer präsent und nicht an bestimmte Dinge gebunden sind.
Sprachassistenten stellen eine natürliche und intuitive Art der Interaktion mit IoT dar. Jedoch eignen sie sich nicht für alle Interaktionen, Umgebungen und Situationen. Fingergesteninteraktion stellt eine vielversprechende Möglichkeit der Interaktion im IoT-Kontext dar. Sie sind vielfältig und aussagekräftig sowie unauffällig und intuitiv auszuführen. Die Erkennung kann mittels Wearables überall und jeder Zeit erfolgen. Ringe stellen hierbei ein vielversprechendes Wearable dar. Sie werden direkt auf dem Finger getragen und können somit direkt die Fingerbewegung erfassen. Allerdings können sie in der Regel nur die Bewegung eines Fingers erfassen.
In dieser Dissertation wird ein Ring vorgestellt, der ein breites Spektrum an Interaktionen, die mehrere Finger einbeziehen, ermöglicht. Der Ring nutzt dazu kapazitive Sensoren, um die Abstände zu anderen Fingern zu messen. Ein Prototyp, PeriSense genannt, wurde entwickelt und für die Evaluierung verwendet. Diese Dissertation fokussiert auf die Evaluierung der Fähigkeiten und Grenzen von PeriSense. Hierzu wurde neben den technischen Eigenschaften auch der statische und dynamische Interaktionsraum ermittelt. Zusätzlich wurde auch der Interaktionsraum um PeriSense herum evaluiert. Anschließend wurde ein Algorithmus zum Finger Tracking entwickelt, der die kapazitiven Sensormesswerte auf Fingerwinkel abbildet. Mindestens die Bewegung von drei Fingern kann verfolgt werden, und bei vordefinierten natürlichen Bewegungen können sogar die Winkel aller fünf Finger geschätzt werden.
Abschließend werden vier verschiedene implementierte Anwendungen mit PeriSense vorgestellt. Für die Implementierung dieser Anwendungen wurde ein Framework entwickelt. Es ermöglicht die Erstellung von komplexen Interaktionspipelines ohne Programmierung über eine JSON-basierte Konfigurationsdatei.
Insgesamt zeigen die Evaluierungsergebnisse, dass die Verwendung von kapazitiven Sensoren die Erkennung eines breiten Interaktionsraumes unter Einbeziehung mehrerer Finger ermöglicht, wie er von anderen Geräten wie zum Beispiel Kamera-basierten Ansätzen oder Datenhandschuhen bekannt ist. Folglich kann PeriSense ein unaufdringliches Interaktionsgerät darstellen, welches während des gesamten Tagesablaufs zur Verfügung steht.
