マガーク効果とは？同じ声なのに、口の動きで違う音に聞こえる

マガーク効果は、聞こえる音声と見える口の動きが食い違うと、音声だけのときとは違う発音として知覚されることがある現象です。耳と目を別々の入力装置としてだけ考えると、意外に感じる効果です。

読み：まがーくこうか ／ 英語・別名：McGurk effect マクガーク効果

耳に届く音と、聞こえた音を分ける

典型的な実験では、ある音節の音声に、別の音節を発音する口の映像を組み合わせます。音声が同じでも、映像を見る場合と見ない場合で回答が変わることがあります。「音声信号そのものが変化した」ことと、「同じ信号の知覚が変化した」ことを区別するのが入口です。

二つを足して、第三の聞こえ方になる

よく紹介される例は、baの音声とgaを発音する口の映像を組み合わせると、daのように報告される場合です。これは代表的な組み合わせの説明で、全員に同じ融合が必ず起こるという約束ではありません。刺激、言語経験、提示のタイミング、個人によって反応は変わります。

単に目に引っ張られてgaだと答える場合と、どちらの入力とも異なる音として融合する場合も区別できます。視覚が常に聴覚を完全に支配する、という単純な順位表ではありません。

研究で見るのは、同じ条件での比較

McGurkとMacDonaldの1976年の報告は、見える発話が聞こえ方へ関与することを示しました。現象を調べるには、音声のみ、映像を伴う場合など、比較条件をそろえる必要があります。文字で「こう聞こえるはず」と先に教えることは、別の期待も加えてしまいます。

実際に効果を確かめるには、音声だけの条件と、対応する口の動きを伴う条件を比較します。説明を読んだだけで効果の強さを測定したり、本人の聴力や認知特性を判定したりすることはできません。

腹話術効果は、音の場所が変わる

腹話術効果では、音源の位置の判断が見える対象の位置へ近づくことが問題になります。マガーク効果は、どの音節・発音として聞こえたかが中心です。どちらも視聴覚の統合に関わりますが、「何の音か」と「どこからの音か」で比べると違いが明確です。

参考資料

• McGurk・MacDonald（1976）：Hearing lips and seeing voices
• Recanzone（1998）：腹話術効果と知覚の変化