Auf dieser Website können Sie sich über die Aktivitäten und Ergebnisse
aus dem Forschungs- und Entwicklungsprojekt ProGesture (Tool Support for Rapid
Prototyping of 3D-Gesture Interaction) informieren.
ProGesture wurde Ende 2019 abgeschlossen.
Verschaffen Sie sich einen Überblick über die Ziele
und den Nutzen von ProGesture.
Nehmen Sie Kontakt mit uns auf, für Fragen und
Anregungen oder wenn Sie sich an Folgeaktivitäten beteiligen möchten.
Herzliche Grüße aus Fulda, Berlin, Frankfurt und Kassel.
Das ProGesture-Team
ProGesture – Wozu? – Ein Beispiel
veröffentlicht am 22. August 2016
Im Projekt ProGesture soll das Rapid Prototyping von 3D-Gesten-Interaktion deutlich vereinfacht werden.
Doch wie kann so etwas konkret aussehen? Dies soll das folgende Beispiel zeigen:
Um einen Fahrstuhl in das aktuelle Stockwerk zu rufen, sind meist zwei Knöpfe vorhanden: Einer um nach
oben, und einer um nach unten zu fahren. Aus hygienischer Sicht ist jede Berührung der Schalter eine
mögliche Quelle zur Übertragung von Krankheitserregern oder zumindest unangenehm. Dies ließe sich durch
eine Steuerung mittels kontaktloser Gesten vermeiden. Der vom Gesten-Sensor erfasste Bereich könnte
außerdem derart ausgedehnt werden, dass man den Fahrstuhl bereits beim Annähern rufen und sich so
Wartezeit sparen kann.
Beim konkreten Entwurf der Interaktion wird spätestens klar, dass nicht jede beliebige Geste
automatisch für jedes System passt oder dafür intuitiv nutzbar ist. Zudem existieren für
3D-Gesten-Interaktionen noch keine standardisierten Gesten, wie man sie aus dem Bereich der Touch-Gesten
kennt, und die vielen Anwendern bereits geläufig wären. Daher ist es sinnvoll einen solchen Fahrstuhl
zusammen mit den Gesten bereits in frühen Phasen der Entwicklung zu prototypen und zu testen. Denn eine
schlecht gewählte Geste kann in diesem Zusammenhang schnell Frustration bei den Anwendern hervorrufen,
wenn zum Beispiel die Mutter mit den drei kleinen Kindern die Treppe nehmen muss, weil sie nicht
verstanden hat, wie sie den Aufzug rufen kann.
ProGesture berücksichtigt hierzu mehrere Vorgehensweisen zum Rapid Prototyping von
3D-Gesten-Interaktionen und unterstützt dabei vor allem die Designphase, in der die Geste(n) und der
Prototyp erstellt werden, sowie die Evaluationsphase, in der die Kombination aus Gesten und Prototyp
überprüft werden.
Für unseren Fahrstuhl wurde ein erster gestenbasierter Prototyp erstellt und getestet. Dazu wurden in
der Designphase die Gesten zur Steuerung des Fahrstuhls festgelegt. Um den Fahrstuhl für eine Fahrt nach
oben anzufordern, muss man vor dem Fahrstuhl mit der Hand nach oben wischen; für eine Fahrt nach unten
wird umgekehrt nach unten gewischt. Diese Gesten wurden unter Verwendung von Microsofts Kinect (in der
Version 2) technisch umgesetzt.
Pidoco-Editor mit Bildern des Fahrstuhls
Die Erstellung des Prototyps erfolgte mittels der Software Pidoco. Für die notwendigen Zustände, die
ein Fahrstuhl haben kann, so wie er sich einem Anwender präsentiert, der vor ihm steht, d.h. Tür
geschlossen, Tür offen, auf Fahrstuhl warten, usw., wurden entsprechende Bilder eines realen Fahrstuhls
in die Anwendung importiert, in eine logische Reihenfolge gebracht und untereinander verlinkt. An diese
Übergänge wurden anschließend die Gesten angebunden.
In der Evaluationsphase wurde der Prototyp dann durch die Gesten gesteuert und damit das Zusammenspiel
von Gesten und Fahrstuhl getestet. Um realitätsnah arbeiten zu können, wurde mit einer entsprechend
großer Projektion gearbeitet (unter Nutzung einer Rückprojektionswand – siehe Abbildung). Ein
davorstehender Benutzer konnte direkt über die mittels der Kinect erkannten Gesten mit dem Prototypen
interagieren, d.h. den Fahrstuhl für eine Fahrt nach oben oder unten anfordern.
So konnten auf einfache Art und Weise verschiedene Gesten ausprobiert und die geeignetsten mithilfe
dieses Setups ausgewählt werden, um sicherzustellen, dass die Fahrstuhlbenutzer auch wirklich in der
Lage sind, den Fahrstuhl mittels der Gesten zu rufen.
Das dargestellte Fahrstuhl-Beispiel zeigt damit einen möglichen Ablauf, welcher durch das zukünftige
ProGesture-Werkzeug unterstützt werden soll. Das Beispiel dient insofern als Test-Case, um zum einen die
werkzeugtechnische Machbarkeit und zum anderen eine der möglichen Vorgehensweisen bei der Arbeit mit der
ProGesture-Software zu testen. Die einzelnen Anbindungen (z.B. zwischen den Gesten und Pidoco) wurden
dafür noch direkt im Programmcode realisiert. In den nächsten Schritten werden die im ProGesture-Projekt
geplanten Konzepte zur systematischen, werkzeugtechnischen Anbindung umgesetzt.
Rupprecht D., Künkel D., Blum R. and Bomsdorf B. (2018). Definition of Gesture Interactions
based on Temporal Relations. In Proceedings of the 13th International Joint Conference on
Computer Vision, Imaging and Computer Graphics Theory and Applications – Volume 2: HUCAPP, ISBN
978-989-758-288-2, pages 116-123. DOI: 10.5220/0006625201160123 PDF-Download
In dieser Veröffentlichung werden die Definition von Gesten und Gesten-Interaktionen, sowie deren
Klassifizierung und damit einhergehende Herausforderungen thematisiert. In der Literatur sind
unterschiedliche Taxonomien zu finden, die sich in ihrer Semantik unterscheiden und deshalb zu
Missverständnissen in einem Entwicklerteam führen können. Wir haben deshalb eine Notation entwickelt, in
der die zeitlichen Intervalle der drei Aspekte Gesten-Ausführung, UI
Feedback und Systemfunktionalität unterschieden werden. Diese umfassendere
Beschreibung von Gesten-Interaktionen führt unserer Erfahrung nach zu einer besseren Kommunikation
innerhalb des Entwicklungsprozesses.
Projektmitarbeiter und Doktorand Daniel Künkel bei der
Posterpräsentation.
Während der Präsentation der Ergebnisse im Rahmen einer Postersession führte Projektmitarbeiter Daniel
Künkel Interessierte an die Thematik des Beitrages heran. In zahlreichen Gesprächen zeigte sich, dass
Designer bei der Klassifizierung von Gesten häufig mit eigenen Ansätzen oder angepassten Taxonomien aus
der Literatur arbeiten, weil die jeweiligen Anforderungen sich oft signifikant unterscheiden. Die
präsentierte Arbeit wurde jedoch von allen Gesprächspartnern als wichtiger Beitrag bewertet. Für
bedeutsam wird zudem die Entwicklung einer universellen Gesten-Beschreibungssprache angesehen. Erste
Ansätze wurden von anderen Teilnehmern präsentiert, was die Relevanz unseres Beitrages unterstreicht.
Des Weiteren wurde in Gesprächen mit anderen Konferenzteilnehmern die aktuelle Forschung im Bereich der
Konzeption und Evaluierung berührungsloser Gesten-Interaktionen diskutiert. Gegenstand waren nicht nur
technische Neuerungen wie neue Sensoren, Algorithmen, etc., sondern auch grundsätzliche Fragestellungen
wie „Wie können gute Gesten designt werden?“, „Was ist für die Beteiligten (Programmierer, Designer,
Benutzer) bei der Entwicklung von Gesten-Interaktionen wichtig?“ oder „Warum ist Rapid-Prototyping für
Gesten-Interaktionen interessant?“. Hr. Künkel konnte zahlreiche potentielle Anforderungen und
Denkanstöße für die weitere Arbeit im Projekt mit nach Hause nehmen.
Konferenz in Dresden
veröffentlicht am 30. September 2018
Auf der Konferenz „Mensch und Computer 2018“ wurde im September 2018 die nachfolgende
wissenschaftliche Publikation platziert:
Cadoni, I. & Bomsdorf, B. (2018). Mögliche Fallen bei der benutzerzentrierten Ermittlung
von 3D Gesten. Mensch und Computer 2018-Tagungsband. Download
Bei der benutzerzentrierten Ermittlung von Gesten werden mögliche Benutzer gebeten, die aus ihrer Sicht
passenden Gesten vorzuschlagen. Studierende haben für ihre gestenbasierten Prototypen Gesten
vorgeschlagen und anschließend mittels Benutzertests mit potentiellen Endanwendern evaluiert. Diese
studentischen Arbeiten wurden unter der Fragestellung möglicher Fallen bei der Definition von Gesten
analysiert. Es kristallisierte sich heraus, dass die Adaption von bekannten Touch-Gesten (beispielsweise
die Swipe-Geste oder die Pinch-Geste) nicht unmittelbar auf 3D-Gesten erfolgen sollte. Des Weiteren kann
die Zufriedenheit mit Gesten aufgrund anderer Faktoren, wie ausgelöste Emotionen oder soziale Aspekte
herabgesetzt werden.
Projektmitarbeiterin Isabella Cadoni bei der
Posterpräsentation.
Im Rahmen der Postersession präsentierte Isabella Cadoni ihre Ergebnisse. Es zeigte sich, dass ein
großes Interesse an der Thematik besteht. Besonders der emotionale Aspekt, also Gesten, die durch
ausgelöste Emotionen entweder besser oder schlechter beurteilt werden, erregte breite Aufmerksamkeit. Es
entstanden Diskussionen darüber, inwieweit Benutzer Gesten subjektiv wahrnehmen und in welchem Grad sich
diese Wahrnehmung auf die persönliche Zufriedenheit auswirkt. Hierbei fiel besonders die Favoriten-Geste
(ein mit den Fingern geformtes Herz) auf.
Darüber hinaus wurde vielfach über zukünftige Trends diskutiert. Währenddessen zeigte sich, dass
intuitive Gesten und wie sie designt werden können (Gesten-Ermittlung) ein relevantes Thema für den
Bereich Virtual Reality ist.
Konferenz in Hamburg
veröffentlicht am 17. September 2019
Auf der Konferenz „Mensch und Computer 2019“ konnten im September 2019 die nachfolgenden
wissenschaftlichen Publikationen platziert werden:
Rasin, K. & Bomsdorf, B. (2019). Erstellung grafischer Darstellungen von dynamischen
3D-Gesten. Mensch und Computer 2019-Tagungsband. Download
Künkel, D., Rupprecht, D. & Blum, R. (2019). Evaluation werkzeuggestützter
Gesten-Extraktionen. Mensch und Computer 2019-Tagungsband. Download
In beiden Veröffentlichungen wurden Fragestellungen für berührungslose Gesten-Interaktionen adressiert.
Frau Rasin diskutiert bekannte grafische Darstellungen für Gesten. Deren Zweck ist es, die
auszuführenden Gesten zu kommunizieren, sie selbst können jedoch zu Usability-Problemen führen.
Es wurden verschiedene Formen von Darstellungen dahingehend untersucht, inwieweit Benutzer die
dargestellten Gesten korrekt nachahmen können. Als problematisch erwiesen sich insbesondere zu
detailreiche Darstellungen und eine mangelnde Differenzierung der Phasen der Gestenausführung. Es
werden Hinweise für zukünftige Richtlinien zur Gestaltung von Gestendarstellungen berichtet.
Im zweiten Beitrag zeigte Herr Künkel Ergebnisse einer Studie über die werkzeuggestützte
Gesten-Extraktion mittels GestureNote auf. Typischerweise werden Gesten von potentiellen Nutzern erfragt
und anschließend durch Berücksichtigung unterschiedlicher Kriterien (z. B. Popularität der Gesten, etc.)
in einem Gestenset zusammengefasst. Der Aufwand für solche Befragungen ist hoch und die Stichproben
entsprechend gering. Diese Probleme wurden von GestureNote aufgegriffen und mittels webbasiertem
Online-Dienst gelöst. Insgesamt nahmen 30 Studierende an dieser Studie teil. Alle Probanden führten
erfolgreich werkzeuggestützte Erratbarkeitsstudien mit GestureNote durch, was zeigt, dass sich das
zugrundeliegende Konzept als praktikabel erwies.
Beide Veröffentlichungen wurden während der Postersession mit interessiertem Fachpublikum diskutiert.
Es zeigte sich, dass für diesen Bereiche (Design von Gesten-Interaktionen) weiterhin großes Interesse
besteht. Insbesondere die werkzeugtechnische Unterstützung erregte viel Aufmerksamkeit.