ヒアラブルデバイスは高機能なイヤホン型ウェアラブルデバイスですが、現在の入力方法には制限があり、手のジェスチャーによる操作の拡張が求められています。これまでの研究でも、ヒアラブルデバイスのためのハンズジェスチャーに関するユーザー理解やジェスチャー認識システムが開発されてきました。しかし、ユーザー理解のための定義ジェスチャの誘発研究 (Gesture Elicitation Study: GES)ではデバイス形状やハンズジェスチャーの制約が設定されておらず、社会実装のための知見としては不十分でした。また、提案された認識システムは、ユーザーが定義したジェスチャーによる認識実験が行われていませんでした。
本研究では、ヒアラブルデバイスを使ったハンズ入力を想定し、6つの条件（3つのインタラクションエリア制約条件×2種のデバイス形状）でGESを実施しました。そして、ユーザーが定義したジェスチャーの中から、デバイス内蔵のIMUセンサーで認識できる耳タッチレベルのジェスチャーを抽出し、その認識性能を調査しました。実験の結果、インイヤー型デバイスのジェスチャー認識率は91.0%、耳掛け型デバイスでは74.7%という結果が得られました。
この研究は、ヒアラブルのハンズ入力に対する包括的な理解を提供し、入力可能エリアやデバイス形状の多様化など、将来のヒアラブルデバイスの設計に貴重な知見をもたらします。
本研究はACM Journals PACM HCIに公開され、MobileHCI 2024にて発表します。
Publication
- Yukina Sato*, Takashi Amesaka*, Takumi Yamamoto, Hiroki Watanabe, Yuta Sugiura,
Exploring User-Defined Gestures as Input for Hearables and Recognizing of Ear-Level Gestures by IMUs, Proceedings of the ACM on Human-Computer Interaction (PACMHCI), Vol.8., No. MHCI, Article 258 (Sep. 2024), 23 pages, doi=10.1145/3676503. *Co-first authorship. [DOI]