Movie
本研究では、衣服上でのジェスチャ入力を実現する新たなジェスチャ認識手法を提案します。本手法は、アクティブおよびパッシブ音響センシングを組み合わせたもので、圧電スピーカとマイクロフォンから構成されます。スピーカは超音波のスイープ信号を送信し、マイクロフォンは衣服を伝搬する信号と、衣服上でのジェスチャによって生じる摩擦音の両方を同時に記録します。
本手法の特長は、ピンチ、ツイスト、タッチ、スワイプなど多様なジェスチャを認識可能である点に加え、専用衣服や刺繍などの特殊な加工を必要とせず、市販の衣服に磁石で圧電素子を取り付けるだけで利用できる点です。これは、1組のデバイスだけで、皆さんが持っている様々な衣服に対してインタフェースエリアを容易に拡張できる可能性を提供します。
研究では、4種類の異なる素材の衣服を用いた前腕上での11種類のジェスチャ認識実験、およびシャツのボタン部やズボンのポケット上での片手で行える5種類のジェスチャの認識実験を実施しました。その結果、ユーザ個別に学習した分類器において、11種類のジェスチャに対して83.9%、日常利用を想定した5種類のジェスチャに対しては**95.9%**のFスコアが得られました。
さらに、片手で行える5種類のジェスチャを、ボタン部およびポケット部で実施した場合、それぞれ**89.2%および92.6%**の認識精度が得られました。
Overall
Publication
Takashi Amesaka, Hiroki Watanabe, Masanori Sugimoto, Buntarou Shizuki. Gesture Recognition Method Using Acoustic Sensing on Usual Garment, Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies (IMWUT), Vol. 6, No. 2, Article 41, 2022. [ACM]