Beitrag zu wissenschaftlicher Konferenz in Portugal

Auf der HUCAPP (International Conference on Human Computer Interaction Theory and Applications) konnte im Januar 2018 folgende wissenschaftliche Publikation platziert werden:

Rupprecht D., Künkel D., Blum R. and Bomsdorf B. (2018). Definition of Gesture Interactions based on Temporal Relations. In Proceedings of the 13th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications – Volume 2: HUCAPP, ISBN 978-989-758-288-2, pages 116-123. DOI: 10.5220/0006625201160123 PDF-Download

In dieser Veröffentlichung werden die Definition von Gesten und Gesten-Interaktionen, sowie deren Klassifizierung und damit einhergehende Herausforderungen thematisiert. In der Literatur sind unterschiedliche Taxonomien zu finden, die sich in ihrer Semantik unterscheiden und deshalb zu Missverständnissen in einem Entwicklerteam führen können. Wir haben deshalb eine Notation entwickelt, in der die zeitlichen Intervalle der drei Aspekte Gesten-Ausführung, UI Feedback und Systemfunktionalität unterschieden werden. Diese umfassendere Beschreibung von Gesten-Interaktionen führt unserer Erfahrung nach zu einer besseren Kommunikation innerhalb des Entwicklungsprozesses.

 

Projektmitarbeiter und Doktorand Daniel Künkel bei der Posterpräsentation.

Während der Präsentation der Ergebnisse im Rahmen einer Postersession führte Projektmitarbeiter Daniel Künkel Interessierte an die Thematik des Beitrages heran. In zahlreichen Gesprächen zeigte sich, dass Designer bei der Klassifizierung von Gesten häufig mit eigenen Ansätzen oder angepassten Taxonomien aus der Literatur arbeiten, weil die jeweiligen Anforderungen sich oft signifikant unterscheiden. Die präsentierte Arbeit wurde jedoch von allen Gesprächspartnern als wichtiger Beitrag bewertet. Für bedeutsam wird zudem die Entwicklung einer universellen Gesten-Beschreibungssprache angesehen. Erste Ansätze wurden von anderen Teilnehmern präsentiert, was die Relevanz unseres Beitrages unterstreicht.

Des Weiteren wurde in Gesprächen mit anderen Konferenzteilnehmern die aktuelle Forschung im Bereich der Konzeption und Evaluierung berührungsloser Gesten-Interaktionen diskutiert. Gegenstand waren nicht nur technische Neuerungen wie neue Sensoren, Algorithmen, etc., sondern auch grundsätzliche Fragestellungen wie „Wie können gute Gesten designt werden?“, „Was ist für die Beteiligten (Programmierer, Designer, Benutzer) bei der Entwicklung von Gesten-Interaktionen wichtig?“ oder „Warum ist Rapid-Prototyping für Gesten-Interaktionen interessant?“. Hr. Künkel konnte zahlreiche potentielle Anforderungen und Denkanstöße für die weitere Arbeit im Projekt mit nach Hause nehmen.

ProGesture – Wozu? – Ein Beispiel

Im Projekt ProGesture soll das Rapid Prototyping von 3D-Gesten-Interaktion deutlich vereinfacht werden. Doch wie kann so etwas konkret aussehen? Dies soll das folgende Beispiel zeigen:

Um einen Fahrstuhl in das aktuelle Stockwerk zu rufen, sind meist zwei Knöpfe vorhanden: Einer um nach oben, und einer um nach unten zu fahren. Aus hygienischer Sicht ist jede Berührung der Schalter eine mögliche Quelle zur Übertragung von Krankheitserregern oder zumindest unangenehm. Dies ließe sich durch eine Steuerung mittels kontaktloser Gesten vermeiden. Der vom Gesten-Sensor erfasste Bereich könnte außerdem derart ausgedehnt werden, dass man den Fahrstuhl bereits beim Annähern rufen und sich so Wartezeit sparen kann.

Beim konkreten Entwurf der Interaktion wird spätestens klar, dass nicht jede beliebige Geste automatisch für jedes System passt oder dafür intuitiv nutzbar ist. Zudem existieren für 3D-Gesten-Interaktionen noch keine standardisierten Gesten, wie man sie aus dem Bereich der Touch-Gesten kennt, und die vielen Anwendern bereits geläufig wären. Daher ist es sinnvoll einen solchen Fahrstuhl zusammen mit den Gesten bereits in frühen Phasen der Entwicklung zu prototypen und zu testen. Denn eine schlecht gewählte Geste kann in diesem Zusammenhang schnell Frustration bei den Anwendern hervorrufen, wenn zum Beispiel die Mutter mit den drei kleinen Kindern die Treppe nehmen muss, weil sie nicht verstanden hat, wie sie den Aufzug rufen kann.

ProGesture berücksichtigt hierzu mehrere Vorgehensweisen zum Rapid Prototyping von 3D-Gesten-Interaktionen und unterstützt dabei vor allem die Designphase, in der die Geste(n) und der Prototyp erstellt werden, sowie die Evaluationsphase, in der die Kombination aus Gesten und Prototyp überprüft werden.

Für unseren Fahrstuhl wurde ein erster gestenbasierter Prototyp erstellt und getestet. Dazu wurden in der Designphase die Gesten zur Steuerung des Fahrstuhls festgelegt. Um den Fahrstuhl für eine Fahrt nach oben anzufordern, muss man vor dem Fahrstuhl mit der Hand nach oben wischen; für eine Fahrt nach unten wird umgekehrt nach unten gewischt. Diese Gesten wurden unter Verwendung von Microsofts Kinect (in der Version 2) technisch umgesetzt.

Pidoco-Editor mit Bildern des Fahrstuhls

Die Erstellung des Prototyps erfolgte mittels der Software Pidoco. Für die notwendigen Zustände, die ein Fahrstuhl haben kann, so wie er sich einem Anwender präsentiert, der vor ihm steht, d.h. Tür geschlossen, Tür offen, auf Fahrstuhl warten, usw., wurden entsprechende Bilder eines realen Fahrstuhls in die Anwendung importiert, in eine logische Reihenfolge gebracht und untereinander verlinkt. An diese Übergänge wurden anschließend die Gesten angebunden.

In der Evaluationsphase wurde der Prototyp dann durch die Gesten gesteuert und damit das Zusammenspiel von Gesten und Fahrstuhl getestet. Um realitätsnah arbeiten zu können, wurde mit einer entsprechend großer Projektion gearbeitet (unter Nutzung einer Rückprojektionswand – siehe Abbildung). Ein davorstehender Benutzer konnte direkt über die mittels der Kinect erkannten Gesten mit dem Prototypen interagieren, d.h. den Fahrstuhl für eine Fahrt nach oben oder unten anfordern.

Fahrstuhl-Prototyp
Simulation der Fahrstuhlsteuerung über Gesten

So konnten auf einfache Art und Weise verschiedene Gesten ausprobiert und die geeignetsten mithilfe dieses Setups ausgewählt werden, um sicherzustellen, dass die Fahrstuhlbenutzer auch wirklich in der Lage sind, den Fahrstuhl mittels der Gesten zu rufen.

Das dargestellte Fahrstuhl-Beispiel zeigt damit einen möglichen Ablauf, welcher durch das zukünftige ProGesture-Werkzeug unterstützt werden soll. Das Beispiel dient insofern als Test-Case, um zum einen die werkzeugtechnische Machbarkeit und zum anderen eine der möglichen Vorgehensweisen bei der Arbeit mit der ProGesture-Software zu testen. Die einzelnen Anbindungen (z.B. zwischen den Gesten und Pidoco) wurden dafür noch direkt im Programmcode realisiert. In den nächsten Schritten werden die im ProGesture-Projekt geplanten Konzepte zur systematischen, werkzeugtechnischen Anbindung umgesetzt.

Willkommen bei ProGesture

Auf dieser Website können Sie sich ab sofort regelmäßig über Neuigkeiten, Aktivitäten und Ergebnisse aus dem Forschungs- und Entwicklungsprojekt ProGesture (Tool Support for Rapid Prototyping of 3D-Gesture Interaction) informieren.

Verschaffen Sie sich einen Überblick über die Ziele und den Nutzen von ProGesture.

Erfahren Sie mehr über die Partner des Projektkonsortiums.

Nehmen Sie Kontakt mit uns auf, für Fragen und Anregungen oder wenn auch Sie sich beteiligen möchten.

Winkende Hand

Herzliche Grüße aus Fulda, Berlin, Frankfurt und Kassel.
Das ProGesture-Team