ProGesture – Wozu? – Ein Beispiel

veröffentlicht am 22. August 2016

Im Projekt ProGesture soll das Rapid Prototyping von 3D-Gesten-Interaktion deutlich vereinfacht werden. Doch wie kann so etwas konkret aussehen? Dies soll das folgende Beispiel zeigen:

Um einen Fahrstuhl in das aktuelle Stockwerk zu rufen, sind meist zwei Knöpfe vorhanden: Einer um nach oben, und einer um nach unten zu fahren. Aus hygienischer Sicht ist jede Berührung der Schalter eine mögliche Quelle zur Übertragung von Krankheitserregern oder zumindest unangenehm. Dies ließe sich durch eine Steuerung mittels kontaktloser Gesten vermeiden. Der vom Gesten-Sensor erfasste Bereich könnte außerdem derart ausgedehnt werden, dass man den Fahrstuhl bereits beim Annähern rufen und sich so Wartezeit sparen kann.

Beim konkreten Entwurf der Interaktion wird spätestens klar, dass nicht jede beliebige Geste automatisch für jedes System passt oder dafür intuitiv nutzbar ist. Zudem existieren für 3D-Gesten-Interaktionen noch keine standardisierten Gesten, wie man sie aus dem Bereich der Touch-Gesten kennt, und die vielen Anwendern bereits geläufig wären. Daher ist es sinnvoll einen solchen Fahrstuhl zusammen mit den Gesten bereits in frühen Phasen der Entwicklung zu prototypen und zu testen. Denn eine schlecht gewählte Geste kann in diesem Zusammenhang schnell Frustration bei den Anwendern hervorrufen, wenn zum Beispiel die Mutter mit den drei kleinen Kindern die Treppe nehmen muss, weil sie nicht verstanden hat, wie sie den Aufzug rufen kann.

ProGesture berücksichtigt hierzu mehrere Vorgehensweisen zum Rapid Prototyping von 3D-Gesten-Interaktionen und unterstützt dabei vor allem die Designphase, in der die Geste(n) und der Prototyp erstellt werden, sowie die Evaluationsphase, in der die Kombination aus Gesten und Prototyp überprüft werden.

Für unseren Fahrstuhl wurde ein erster gestenbasierter Prototyp erstellt und getestet. Dazu wurden in der Designphase die Gesten zur Steuerung des Fahrstuhls festgelegt. Um den Fahrstuhl für eine Fahrt nach oben anzufordern, muss man vor dem Fahrstuhl mit der Hand nach oben wischen; für eine Fahrt nach unten wird umgekehrt nach unten gewischt. Diese Gesten wurden unter Verwendung von Microsofts Kinect (in der Version 2) technisch umgesetzt.

In der Evaluationsphase wurde der Prototyp dann durch die Gesten gesteuert und damit das Zusammenspiel von Gesten und Fahrstuhl getestet. Um realitätsnah arbeiten zu können, wurde mit einer entsprechend großer Projektion gearbeitet (unter Nutzung einer Rückprojektionswand – siehe Abbildung). Ein davorstehender Benutzer konnte direkt über die mittels der Kinect erkannten Gesten mit dem Prototypen interagieren, d.h. den Fahrstuhl für eine Fahrt nach oben oder unten anfordern.

Konferenz in Portugal

veröffentlicht am 06. Februar 2018

Auf der HUCAPP (International Conference on Human Computer Interaction Theory and Applications) konnte im Januar 2018 folgende wissenschaftliche Publikation platziert werden:

Rupprecht D., Künkel D., Blum R. and Bomsdorf B. (2018). Definition of Gesture Interactions based on Temporal Relations. In Proceedings of the 13th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications – Volume 2: HUCAPP, ISBN 978-989-758-288-2, pages 116-123. DOI: 10.5220/0006625201160123 PDF-Download

In dieser Veröffentlichung werden die Definition von Gesten und Gesten-Interaktionen, sowie deren Klassifizierung und damit einhergehende Herausforderungen thematisiert. In der Literatur sind unterschiedliche Taxonomien zu finden, die sich in ihrer Semantik unterscheiden und deshalb zu Missverständnissen in einem Entwicklerteam führen können. Wir haben deshalb eine Notation entwickelt, in der die zeitlichen Intervalle der drei Aspekte Gesten-Ausführung, UI Feedback und Systemfunktionalität unterschieden werden. Diese umfassendere Beschreibung von Gesten-Interaktionen führt unserer Erfahrung nach zu einer besseren Kommunikation innerhalb des Entwicklungsprozesses.

Während der Präsentation der Ergebnisse im Rahmen einer Postersession führte Projektmitarbeiter Daniel Künkel Interessierte an die Thematik des Beitrages heran. In zahlreichen Gesprächen zeigte sich, dass Designer bei der Klassifizierung von Gesten häufig mit eigenen Ansätzen oder angepassten Taxonomien aus der Literatur arbeiten, weil die jeweiligen Anforderungen sich oft signifikant unterscheiden. Die präsentierte Arbeit wurde jedoch von allen Gesprächspartnern als wichtiger Beitrag bewertet. Für bedeutsam wird zudem die Entwicklung einer universellen Gesten-Beschreibungssprache angesehen. Erste Ansätze wurden von anderen Teilnehmern präsentiert, was die Relevanz unseres Beitrages unterstreicht.

Des Weiteren wurde in Gesprächen mit anderen Konferenzteilnehmern die aktuelle Forschung im Bereich der Konzeption und Evaluierung berührungsloser Gesten-Interaktionen diskutiert. Gegenstand waren nicht nur technische Neuerungen wie neue Sensoren, Algorithmen, etc., sondern auch grundsätzliche Fragestellungen wie „Wie können gute Gesten designt werden?“, „Was ist für die Beteiligten (Programmierer, Designer, Benutzer) bei der Entwicklung von Gesten-Interaktionen wichtig?“ oder „Warum ist Rapid-Prototyping für Gesten-Interaktionen interessant?“. Hr. Künkel konnte zahlreiche potentielle Anforderungen und Denkanstöße für die weitere Arbeit im Projekt mit nach Hause nehmen.

Konferenz in Dresden

veröffentlicht am 30. September 2018

Auf der Konferenz „Mensch und Computer 2018“ wurde im September 2018 die nachfolgende wissenschaftliche Publikation platziert:

Cadoni, I. & Bomsdorf, B. (2018). Mögliche Fallen bei der benutzerzentrierten Ermittlung von 3D Gesten. Mensch und Computer 2018-Tagungsband. Download

Bei der benutzerzentrierten Ermittlung von Gesten werden mögliche Benutzer gebeten, die aus ihrer Sicht passenden Gesten vorzuschlagen. Studierende haben für ihre gestenbasierten Prototypen Gesten vorgeschlagen und anschließend mittels Benutzertests mit potentiellen Endanwendern evaluiert. Diese studentischen Arbeiten wurden unter der Fragestellung möglicher Fallen bei der Definition von Gesten analysiert. Es kristallisierte sich heraus, dass die Adaption von bekannten Touch-Gesten (beispielsweise die Swipe-Geste oder die Pinch-Geste) nicht unmittelbar auf 3D-Gesten erfolgen sollte. Des Weiteren kann die Zufriedenheit mit Gesten aufgrund anderer Faktoren, wie ausgelöste Emotionen oder soziale Aspekte herabgesetzt werden.

Im Rahmen der Postersession präsentierte Isabella Cadoni ihre Ergebnisse. Es zeigte sich, dass ein großes Interesse an der Thematik besteht. Besonders der emotionale Aspekt, also Gesten, die durch ausgelöste Emotionen entweder besser oder schlechter beurteilt werden, erregte breite Aufmerksamkeit. Es entstanden Diskussionen darüber, inwieweit Benutzer Gesten subjektiv wahrnehmen und in welchem Grad sich diese Wahrnehmung auf die persönliche Zufriedenheit auswirkt. Hierbei fiel besonders die Favoriten-Geste (ein mit den Fingern geformtes Herz) auf.

Darüber hinaus wurde vielfach über zukünftige Trends diskutiert. Währenddessen zeigte sich, dass intuitive Gesten und wie sie designt werden können (Gesten-Ermittlung) ein relevantes Thema für den Bereich Virtual Reality ist.