Movie
本研究では、モバイルおよびウェアラブルコンピューティングのための新しい入力手法として、「顔の表情」を活用する方法を提案します。顔の筋肉の動きは外耳道に物理的な変形を引き起こしますが、私たちのシステムはこの特性を利用し、「外耳道伝達関数（Ear Canal Transfer Function: ECTF）」を用いて顔の表情を推定します。
ユーザは、マイクを内蔵したイヤホンを装着し、外耳道内の音響情報を記録します。システムは超音波帯域のスイープ信号を送信し、その応答を解析することでECTFを取得します。
本手法の大きな特徴は、既存の多くのヒアラブルデバイス（音楽再生や通話など複数機能を持つ高度なイヤーデバイス）にすでに搭載されているスピーカとマイクをそのまま活用でき、製品への実装が容易である点です。
本研究では、21種類の表情に対して11名の被験者を対象に本手法の性能を評価しました。また、イヤホンの装着や取り外しによって生じる信号の位置ズレを補正する信号補正手法も提案し、その効果を検証しました。
評価の結果、補正なしの信号では f-score が 40.2%、補正ありの信号では 62.5% に向上しました。さらに、実用性の高い6種類の表情に限定した実験では、補正なしで 74.4%、補正ありで 90.0% の f-score を達成しました。
これらの結果から、ECTFを用いた顔表情認識は、他の関連手法と同等の高精度な認識性能を実現できることが確認されました。
Overall
Publication
Takashi Amesaka, Hiroki Watanabe, and Masanori Sugimoto. Facial Expression Recognition Using Ear Canal Transfer Function, In Proceedings of ISWC 2019, London, UK, pp.1-9, 2019. [ACM]