Enabling Voice-Accompanying Hand-to-Face Gesture Recognition with Cross-Device Sensing

摘要

伴随着语音进行的手势对于语音交互来说是必不可少的，它可以为交互目的传达补充语义，如唤醒状态和输入模式。在本文中，我们研究了用于语音交互的语音伴奏手势（VAHF）。我们的目标是手对脸的手势，因为这种手势与语音密切相关，并产生重要的声学特征（例如，阻碍语音传播）。我们进行了一项用户研究，以探索VAHF手势的设计空间，我们首先收集了候选手势，然后从不同的维度（如接触位置和类型）对其进行了结构分析，共输出了8种具有良好可用性和最少混淆的VAHF手势。为了促进VAHF手势的识别，我们提出了一种新的跨设备传感方法，利用商品设备（耳塞、手表和戒指）的异质渠道（声乐、超声波和IMU）的数据。我们的识别模型对3种手势的识别准确率达到97.3%，对8种手势（不包括 “空 “手势）的识别准确率达到91.5%，证明了其高度适用性。定量分析也阐明了每个传感器通道的识别能力和它们的不同组合。最后，我们说明了可行的用例及其设计原则，以证明我们的系统在各种情况下的适用性。