Takashi Amesaka

私たちは、ヒアラブルデバイスに対する新しいジェスチャ認識手法「EarHover」を提案します。本手法は、ヒアラブル特有の現象である「音漏れ」に着目し、ヒアラブルとの親和性が高いスピーカと外側マイクを用いることで、空中ジェスチャによる入力を実現します。

音漏れとは、ヒアラブルデバイスからデバイス外側に音が漏れる現象であり、周囲への影響としては望ましくない現象です。しかし、人の聞こえない音（超音波）をあえて音漏れさせることで、周囲の状況をセンシングすることが可能となります。

本手法では、音漏れ信号がデバイス上空を通過する手に反射したときに発生するドップラーシフトを捉え、ユーザがどのようなジェスチャを行っているか推定することを目指します。

研究では、27種類の候補ジェスチャの中から、信号の識別性とユーザの受容性（N=10）に基づいて、最適な7種類のジェスチャを選定しました。その後、選定した7種類のジェスチャと無操作状態を含む計8つの状態について、インイヤー型およびオーバーイヤー型の2種類の試作デバイスを用いてデータを収集しました。

収集したデータに対してディープラーニングによる認識性能評価（N=13）を行った結果、F値（F-score）はインイヤー型で78.7%、オーバーイヤー型で73.4%となりました。さらに、ジェスチャを5種類に絞った場合、認識対象は6状態となり、F値はインイヤー型で86.2%、オーバーイヤー型で82.5%まで向上しました。

本研究の成果は、みなさんが利用するヒアラブルデバイスをより便利・快適に操作するための基盤技術として活用されることが期待されます。

Publication

Shunta Suzuki, Takashi Amesaka, Hiroki Watanabe, Buntarou Shizuki, and Yuta Sugiura. 2024. EarHover: Mid-Air Gesture Recognition for Hearables Using Sound Leakage Signals. In The 37th Annual ACM Symposium on User Interface Software and Technology (UIST ’24), October 13–16, 2024, Pittsburgh, PA, USA. ACM, New York, NY, USA, 13 pages. [DOI]

鈴木俊汰，雨坂宇宙，渡邉拓貴，志築文太郎，杉浦裕太, EarHover：ヒアラブルデバイスにおける音漏れ信号を用いた空中ジェスチャ認識, 情報処理学会インタラクション2024/IPSJ Interaction 2024，INT24011, pp. 88-97, 2024.[PDF]