Willkommen bei ProGesture

veröffentlicht am 2. Mai 2016

Auf dieser Website können Sie sich über die Aktivitäten und Ergebnisse aus dem Forschungs- und Entwicklungsprojekt ProGesture (Tool Support for Rapid Prototyping of 3D-Gesture Interaction) informieren.

Verschaffen Sie sich einen Überblick über die Ziele und den Nutzen von ProGesture.

Erfahren Sie mehr über die Partner des Projektkonsortiums.

Nehmen Sie Kontakt mit uns auf, für Fragen und Anregungen oder wenn Sie sich an Folgeaktivitäten beteiligen möchten.

Herzliche Grüße aus Fulda, Berlin, Frankfurt und Kassel.
Das ProGesture-Team

ProGesture Hand

ProGesture – Wozu? – Ein Beispiel

veröffentlicht am 22. August 2016

Im Projekt ProGesture soll das Rapid Prototyping von 3D-Gesten-Interaktion deutlich vereinfacht werden. Doch wie kann so etwas konkret aussehen? Dies soll das folgende Beispiel zeigen:

Um einen Fahrstuhl in das aktuelle Stockwerk zu rufen, sind meist zwei Knöpfe vorhanden: Einer um nach oben, und einer um nach unten zu fahren. Aus hygienischer Sicht ist jede Berührung der Schalter eine mögliche Quelle zur Übertragung von Krankheitserregern oder zumindest unangenehm. Dies ließe sich durch eine Steuerung mittels kontaktloser Gesten vermeiden. Der vom Gesten-Sensor erfasste Bereich könnte außerdem derart ausgedehnt werden, dass man den Fahrstuhl bereits beim Annähern rufen und sich so Wartezeit sparen kann.

Beim konkreten Entwurf der Interaktion wird spätestens klar, dass nicht jede beliebige Geste automatisch für jedes System passt oder dafür intuitiv nutzbar ist. Zudem existieren für 3D-Gesten-Interaktionen noch keine standardisierten Gesten, wie man sie aus dem Bereich der Touch-Gesten kennt, und die vielen Anwendern bereits geläufig wären. Daher ist es sinnvoll einen solchen Fahrstuhl zusammen mit den Gesten bereits in frühen Phasen der Entwicklung zu prototypen und zu testen. Denn eine schlecht gewählte Geste kann in diesem Zusammenhang schnell Frustration bei den Anwendern hervorrufen, wenn zum Beispiel die Mutter mit den drei kleinen Kindern die Treppe nehmen muss, weil sie nicht verstanden hat, wie sie den Aufzug rufen kann.

ProGesture berücksichtigt hierzu mehrere Vorgehensweisen zum Rapid Prototyping von 3D-Gesten-Interaktionen und unterstützt dabei vor allem die Designphase, in der die Geste(n) und der Prototyp erstellt werden, sowie die Evaluationsphase, in der die Kombination aus Gesten und Prototyp überprüft werden.

Für unseren Fahrstuhl wurde ein erster gestenbasierter Prototyp erstellt und getestet. Dazu wurden in der Designphase die Gesten zur Steuerung des Fahrstuhls festgelegt. Um den Fahrstuhl für eine Fahrt nach oben anzufordern, muss man vor dem Fahrstuhl mit der Hand nach oben wischen; für eine Fahrt nach unten wird umgekehrt nach unten gewischt. Diese Gesten wurden unter Verwendung von Microsofts Kinect (in der Version 2) technisch umgesetzt.

Pidoco-Editor mit Bildern des Fahrstuhls

Die Erstellung des Prototyps erfolgte mittels der Software Pidoco. Für die notwendigen Zustände, die ein Fahrstuhl haben kann, so wie er sich einem Anwender präsentiert, der vor ihm steht, d.h. Tür geschlossen, Tür offen, auf Fahrstuhl warten, usw., wurden entsprechende Bilder eines realen Fahrstuhls in die Anwendung importiert, in eine logische Reihenfolge gebracht und untereinander verlinkt. An diese Übergänge wurden anschließend die Gesten angebunden.

In der Evaluationsphase wurde der Prototyp dann durch die Gesten gesteuert und damit das Zusammenspiel von Gesten und Fahrstuhl getestet. Um realitätsnah arbeiten zu können, wurde mit einer entsprechend großer Projektion gearbeitet (unter Nutzung einer Rückprojektionswand – siehe Abbildung). Ein davorstehender Benutzer konnte direkt über die mittels der Kinect erkannten Gesten mit dem Prototypen interagieren, d.h. den Fahrstuhl für eine Fahrt nach oben oder unten anfordern.

So konnten auf einfache Art und Weise verschiedene Gesten ausprobiert und die geeignetsten mithilfe dieses Setups ausgewählt werden, um sicherzustellen, dass die Fahrstuhlbenutzer auch wirklich in der Lage sind, den Fahrstuhl mittels der Gesten zu rufen.

Das dargestellte Fahrstuhl-Beispiel zeigt damit einen möglichen Ablauf, welcher durch das zukünftige ProGesture-Werkzeug unterstützt werden soll. Das Beispiel dient insofern als Test-Case, um zum einen die werkzeugtechnische Machbarkeit und zum anderen eine der möglichen Vorgehensweisen bei der Arbeit mit der ProGesture-Software zu testen. Die einzelnen Anbindungen (z.B. zwischen den Gesten und Pidoco) wurden dafür noch direkt im Programmcode realisiert. In den nächsten Schritten werden die im ProGesture-Projekt geplanten Konzepte zur systematischen, werkzeugtechnischen Anbindung umgesetzt.

Simulation der Fahrstuhlsteuerung über Gesten

Konferenz in Portugal

veröffentlicht am 06. Februar 2018

Auf der HUCAPP (International Conference on Human Computer Interaction Theory and Applications) konnte im Januar 2018 folgende wissenschaftliche Publikation platziert werden:

Rupprecht D., Künkel D., Blum R. and Bomsdorf B. (2018). Definition of Gesture Interactions based on Temporal Relations. In Proceedings of the 13th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications – Volume 2: HUCAPP, ISBN 978-989-758-288-2, pages 116-123. DOI: 10.5220/0006625201160123 PDF-Download

In dieser Veröffentlichung werden die Definition von Gesten und Gesten-Interaktionen, sowie deren Klassifizierung und damit einhergehende Herausforderungen thematisiert. In der Literatur sind unterschiedliche Taxonomien zu finden, die sich in ihrer Semantik unterscheiden und deshalb zu Missverständnissen in einem Entwicklerteam führen können. Wir haben deshalb eine Notation entwickelt, in der die zeitlichen Intervalle der drei Aspekte Gesten-Ausführung, UI Feedback und Systemfunktionalität unterschieden werden. Diese umfassendere Beschreibung von Gesten-Interaktionen führt unserer Erfahrung nach zu einer besseren Kommunikation innerhalb des Entwicklungsprozesses.

Projektmitarbeiter und Doktorand Daniel Künkel bei der Posterpräsentation.

Während der Präsentation der Ergebnisse im Rahmen einer Postersession führte Projektmitarbeiter Daniel Künkel Interessierte an die Thematik des Beitrages heran. In zahlreichen Gesprächen zeigte sich, dass Designer bei der Klassifizierung von Gesten häufig mit eigenen Ansätzen oder angepassten Taxonomien aus der Literatur arbeiten, weil die jeweiligen Anforderungen sich oft signifikant unterscheiden. Die präsentierte Arbeit wurde jedoch von allen Gesprächspartnern als wichtiger Beitrag bewertet. Für bedeutsam wird zudem die Entwicklung einer universellen Gesten-Beschreibungssprache angesehen. Erste Ansätze wurden von anderen Teilnehmern präsentiert, was die Relevanz unseres Beitrages unterstreicht.

Des Weiteren wurde in Gesprächen mit anderen Konferenzteilnehmern die aktuelle Forschung im Bereich der Konzeption und Evaluierung berührungsloser Gesten-Interaktionen diskutiert. Gegenstand waren nicht nur technische Neuerungen wie neue Sensoren, Algorithmen, etc., sondern auch grundsätzliche Fragestellungen wie „Wie können gute Gesten designt werden?“, „Was ist für die Beteiligten (Programmierer, Designer, Benutzer) bei der Entwicklung von Gesten-Interaktionen wichtig?“ oder „Warum ist Rapid-Prototyping für Gesten-Interaktionen interessant?“. Hr. Künkel konnte zahlreiche potentielle Anforderungen und Denkanstöße für die weitere Arbeit im Projekt mit nach Hause nehmen.

Konferenz in Dresden

veröffentlicht am 30. September 2018

Auf der Konferenz „Mensch und Computer 2018“ wurde im September 2018 die nachfolgende wissenschaftliche Publikation platziert:

Cadoni, I. & Bomsdorf, B. (2018). Mögliche Fallen bei der benutzerzentrierten Ermittlung von 3D Gesten. Mensch und Computer 2018-Tagungsband. Download

Bei der benutzerzentrierten Ermittlung von Gesten werden mögliche Benutzer gebeten, die aus ihrer Sicht passenden Gesten vorzuschlagen. Studierende haben für ihre gestenbasierten Prototypen Gesten vorgeschlagen und anschließend mittels Benutzertests mit potentiellen Endanwendern evaluiert. Diese studentischen Arbeiten wurden unter der Fragestellung möglicher Fallen bei der Definition von Gesten analysiert. Es kristallisierte sich heraus, dass die Adaption von bekannten Touch-Gesten (beispielsweise die Swipe-Geste oder die Pinch-Geste) nicht unmittelbar auf 3D-Gesten erfolgen sollte. Des Weiteren kann die Zufriedenheit mit Gesten aufgrund anderer Faktoren, wie ausgelöste Emotionen oder soziale Aspekte herabgesetzt werden.

Projektmitarbeiterin Isabella Cadoni bei der Posterpräsentation.

Im Rahmen der Postersession präsentierte Isabella Cadoni ihre Ergebnisse. Es zeigte sich, dass ein großes Interesse an der Thematik besteht. Besonders der emotionale Aspekt, also Gesten, die durch ausgelöste Emotionen entweder besser oder schlechter beurteilt werden, erregte breite Aufmerksamkeit. Es entstanden Diskussionen darüber, inwieweit Benutzer Gesten subjektiv wahrnehmen und in welchem Grad sich diese Wahrnehmung auf die persönliche Zufriedenheit auswirkt. Hierbei fiel besonders die Favoriten-Geste (ein mit den Fingern geformtes Herz) auf.

Darüber hinaus wurde vielfach über zukünftige Trends diskutiert. Währenddessen zeigte sich, dass intuitive Gesten und wie sie designt werden können (Gesten-Ermittlung) ein relevantes Thema für den Bereich Virtual Reality ist.

Konferenz in Hamburg

veröffentlicht am 17. September 2019

Auf der Konferenz „Mensch und Computer 2019“ konnten im September 2019 die nachfolgenden wissenschaftlichen Publikationen platziert werden:

Rasin, K. & Bomsdorf, B. (2019). Erstellung grafischer Darstellungen von dynamischen 3D-Gesten. Mensch und Computer 2019-Tagungsband. Download

Künkel, D., Rupprecht, D. & Blum, R. (2019). Evaluation werkzeuggestützter Gesten-Extraktionen. Mensch und Computer 2019-Tagungsband. Download

In beiden Veröffentlichungen wurden Fragestellungen für berührungslose Gesten-Interaktionen adressiert.

img/posts/2019_09/post-img-0.jpg

Frau Rasin diskutiert bekannte grafische Darstellungen für Gesten. Deren Zweck ist es, die auszuführenden Gesten zu kommunizieren, sie selbst können jedoch zu Usability-Problemen führen. Es wurden verschiedene Formen von Darstellungen dahingehend untersucht, inwieweit Benutzer die dargestellten Gesten korrekt nachahmen können. Als problematisch erwiesen sich insbesondere zu detailreiche Darstellungen und eine mangelnde Differenzierung der Phasen der Gestenausführung. Es werden Hinweise für zukünftige Richtlinien zur Gestaltung von Gestendarstellungen berichtet.

img/posts/2019_09/post-img-0.jpg

Im zweiten Beitrag zeigte Herr Künkel Ergebnisse einer Studie über die werkzeuggestützte Gesten-Extraktion mittels GestureNote auf. Typischerweise werden Gesten von potentiellen Nutzern erfragt und anschließend durch Berücksichtigung unterschiedlicher Kriterien (z. B. Popularität der Gesten, etc.) in einem Gestenset zusammengefasst. Der Aufwand für solche Befragungen ist hoch und die Stichproben entsprechend gering. Diese Probleme wurden von GestureNote aufgegriffen und mittels webbasiertem Online-Dienst gelöst. Insgesamt nahmen 30 Studierende an dieser Studie teil. Alle Probanden führten erfolgreich werkzeuggestützte Erratbarkeitsstudien mit GestureNote durch, was zeigt, dass sich das zugrundeliegende Konzept als praktikabel erwies.

Beide Veröffentlichungen wurden während der Postersession mit interessiertem Fachpublikum diskutiert. Es zeigte sich, dass für diesen Bereiche (Design von Gesten-Interaktionen) weiterhin großes Interesse besteht. Insbesondere die werkzeugtechnische Unterstützung erregte viel Aufmerksamkeit.