用眼睛听,用耳朵看
我对《舞蹈皇后》记忆的崩塌恰恰印证了“麦格克效应”(McGurk Effect)。它描述了视觉体验影响听觉体验的心理现象。
一个典型的麦格克效应实验会是这样的:你坐在电脑屏幕前,看着一个人嘴型夸张地发出“baba”的音,扬声器送到你耳朵里的也是同样的语音。你会不停地听到“baba”。
突然,扬声器里的声音没有变化,屏幕上的人却开始发另一个音。这次他没有紧闭嘴唇发出“ba”,而是故意将门牙放在下唇,夸张地做出“fa”的嘴型(图10)。
此时,麦格克效应开始生效了。
和之前听到的清晰的“b”不同,你开始听到更柔和的“f”。即便你清楚扬声器里的声音没有变,但你听到的就是完全不同的“fafa……fafa……fafa”。
这时你觉得是研究人员在捉弄你,于是闭上了眼睛。屏幕上的脸消失,扬声器里的声音恢复为之前的“baba”。但只要你把眼睛睁开,看到那个人的脸,声音就又会变成“fafa”。

图10 麦格克效应
很多人似乎比较能接受视觉驱动听觉的概念(也许这与视觉观察的对象有形而声波无形有关)。但这个过程并不是单向的这一点可能会让你有些吃惊。我们找到了许多视觉驱动听觉的例子,但听觉驱动视觉的例子同样存在。
最有名的实验当属“沙姆斯幻觉”(Shams Illusion)。典型的沙姆斯实验的开头和前文中的麦格克效应实验类似。你坐在一个空白的电脑屏幕前。突然,扬声器里响起响亮的、间隔随机的哔声,与此同时,屏幕上迅速出现一个小圆圈,又随即消失。
偶尔,扬声器里会连续出现两次响亮的哔声,同时屏幕上迅速出现两个圆圈,而后消失。规律非常简单:听到一声哔,就会看到一个圆圈;听到两声哔,就会看到两个圆圈。没什么可大惊小怪的。
只不过,这其实是幻觉。不管扬声器里发出多少次哔声,电脑屏幕上一直只会出现一个圆圈。任何时候屏幕上都不会出现两个圆圈,但你会一口咬定,每次听到两声哔时你都看到了两个圆圈。从本质上说,这是麦格克效应的反面。在麦格克效应中,看到的改变了听到的,而在沙姆斯幻觉中,听到的改变了看到的。