高级研究员Hans Rutger Bosker解释说:“在面对面的交流中，语言不仅仅是说话。”演讲者利用不同的渠道(嘴、手和脸)来传递信息。我们想了解听众在听别人说话时是如何利用这些不同的信息流的。”在一种被称为“McGurk效应”的著名错觉中，人们听到的一个声音(比如“ba”中的“b”)是另一个声音(比如“pa”或“fa”)，这取决于他们看到的嘴唇运动。但是否也存在人工麦格克效应?我们听到的是否取决于我们看到的手势?

柏拉图还是高原?

为了调查这个问题，研究人员选择了一组只有重音模式不同的荷兰语单词。例如，单词“PLAto”——重音在第一个音节上——指的是古希腊的哲学家。然而，“plaTO”在第二个音节上重读，指的是高原。参与者观看了一段视频，视频中博斯克一边做手势(“现在我说这个词……柏拉图”)。然后，参与者必须决定他们听到的是哪个词(柏拉图还是高原?)节拍手势出现在第一个音节还是第二个音节上有关系吗?

如果一个音节上有打拍子的手势，听众更容易听到重音。这种“手动McGurk效应”对单词和非单词(“BAAGpif”或“BAAGpif”?)都发生了。更令人惊讶的是，打拍子会影响人们听到的元音(“baagpif / bagpif”中“a”的长短)，因为元音的长度通常与单词的重音模式有关。

博斯克说:“听众不仅用耳朵听，还用眼睛听。”“这些发现首次表明，节拍手势会影响你听到的语音。”博斯克和彼得斯认为，在现实生活中，当语言不像在实验室中那么清晰时，节拍手势的影响可能会更大。在嘈杂的听力条件下，视觉节拍手势可能对成功的交流更为重要。博斯克开玩笑地补充说:“所以洗手，用它们。”

“我们的发现也有可能丰富人机交互和改进多模态语音识别系统。很明显，这样的系统应该考虑的不仅仅是语言，”博斯克总结道。“我们将通过使用虚拟现实技术来测试这些影响的具体程度——它们是仅由拍打手势引起的，还是由其他类型的交流线索引起的，比如点头和眉毛运动?”