「3たす2はいくつ？」と聞くと、馬が地面を5回たたく。もし目の前でそんなことが起きたら、計算ができる馬だと信じたくなるでしょう。20世紀初めのドイツで話題になったハンスは、まさにそんな馬でした。ところが、答え方を詳しく調べると、別の能力が見えてきました。
ハンスはどのように答えていたのか
飼い主のフォン・オステンは、ハンスに人間のような学習能力があると考えていました。ハンスは質問に対し、足で地面をたたく回数などで答えを示しました。計算や数字の読み取りができるように見えたのです。
心理学者オスカー・プフングストは、質問者が答えを知っている場合と知らない場合、馬が質問者を見られる場合と見られない場合を比べました。すると、質問者が答えを知り、ハンスがその姿を見られることが、正答に大きく関係していました。プフングスト『Clever Hans』第2章
答えは、人の体の動きに表れていた
質問者は、馬が期待する回数に近づくと、姿勢や頭の動きをわずかに変えていました。ハンスはその合図を手掛かりに、足を止めていたと説明されます。人が意識して教えなくても、期待が動きに表れていたのです。
ここで面白いのは、単に「馬は何もできなかった」という話ではないことです。数字を計算する代わりに、人の非常に小さな動きを見分けていました。同じ正答でも、そこへ至る仕組みが違っていたのです。
また、飼い主がわざと答えを教える手品だった、と片付けるのも適切ではありません。プフングストは、飼い主自身が合図に気づいていなかったと考察しています。同書・飼い主の観察と考察
クレバー・ハンス効果と確証バイアスの違い
この出来事から、観察者や質問者の意図しない合図が相手の反応に影響する問題を、クレバー・ハンス効果と呼びます。よい結果を期待する気持ちが、結果を見ているだけのつもりでも、実験の中に入り込むのです。
確証バイアスは、考えに合う情報を集めたり重く見たりする傾向です。両者は重なることがありますが、ハンスの例では、情報の受け取り方に加えて、質問する人が結果に影響する合図を出していた点が重要です。
ゲームを試してもらうときにも起こりうる
たとえば、自分が作った謎解きを友達に遊んでもらう場面を想像してみてください。「そこ、よく見て」と言ったり、正解に近づくたびに笑顔になったりすれば、相手は画面以外のヒントも受け取れます。
その場ではスムーズに解けても、アプリを一人で開いた人は、作り手の顔を見ることができません。「説明は十分だった」という判断が、実はテスト中の手助けに支えられているかもしれないのです。
これはハンスの実験から考えた、テストの工夫の例です。動物の調査とアプリの確認が、まったく同じ条件という意味ではありません。
誘導を減らすための工夫
- 最初に渡す説明をそろえ、途中の反応に合わせて追加しない。
- 「簡単だったよね？」ではなく、「どこで迷いましたか？」と尋ねる。
- 手助けをした箇所を記録し、自力でできた部分と分ける。
- 必要なら、答えを知らない人にも観察してもらう。
ハンスの話は、驚く結果をすぐに否定するための話ではありません。「本当に起きたのか」に加え、「何を手掛かりに起きたのか」を考えるための話です。成功した理由までわかれば、次の場面で再現できる条件も見つけやすくなります。