生存者バイアスとは？成功例の裏にある「見えない母数」を考える

「続けた人の9割が上達しました」。魅力的な言葉ですが、始めた人全員の9割とは限りません。途中でやめた人が集計から消えていたら、どんな印象になるでしょうか。

生存者バイアスは、選別を通って残った人や事例だけを見て、全体について判断してしまう偏りです。ここでの「生存」は命の話だけではなく、続けている、記録が残っている、注目されている、といった状態を含みます。

架空の教室で、二つの「90%」を比べる

100人がパズル教室を始め、半年後に続けていたのは20人。その20人のうち18人が「上達した」と答えたとします。説明用の架空の数字です。

18÷20=90%は正しい計算です。でも、やめた80人については分かりません。始めた全員の90%が上達したとも、やめた人は全員上達しなかったとも言えません。

全体を考えたいのに、続けた人だけの数字をそのまま使ってしまう。そこで偏りが生まれます。

「残ること」と「結果」が関係すると、見え方が変わる

教室が楽しかった人ほど続けやすい、難しすぎた人ほどやめやすい、忙しくなった人は上達していてもやめる。残る理由はいろいろあります。

残った人が全体と違う特徴を持つなら、その人たちの回答だけでは全体を代表しにくくなります。研究参加者の脱落がこうした偏りを生む可能性は、APAのattritionの解説でも説明されています。

脱落者がいたら必ず結論が逆になる、ということではありません。まずは、誰が外れ、なぜ外れたのかを確かめたいのです。

成功談は参考になる。でも成功率は別の話

有名なアプリ開発者の「最初の作品がヒットした」という話は、アイデアや制作の工夫を学ぶ材料になります。ただし、それを聞いて「最初の作品はたいていヒットする」と考えるなら、見えていない作品が問題になります。

同じ時期に公開されて注目されなかった作品、途中で制作をやめた作品、公開後に終了した作品。表舞台に出た成功例の外にも、比較の対象があります。

成功した人の工夫が無意味になるわけではありません。「この工夫は自分にも試せるか」と「この工夫でどれくらい成功するか」は、別の問いです。

アプリの感想でも、使い続けた人だけが見えることがある

長く遊んでいる人から「操作は分かりやすい」と聞けても、初回で迷ってやめた人の声は届きにくいかもしれません。

そこで、継続中の人の意見に加えて、初めて使う人が説明なしで何をするかを見ると、別の情報が得られます。楽しんでいる人の感想と、入り口でつまずいた人の行動を、どちらも設計の材料にするのです。

ゲームの入口を作る話は、謎解きアプリの画面設計でも紹介しています。

確証バイアスとの違い

確証バイアスは、信じたいことに合う情報を選んだり解釈したりする偏り。生存者バイアスは、観察できる集団が選別されたことで生じる偏りです。

成功例しか見えないうえに、成功例だけを積極的に探すこともあります。その場合は、二つが重なっていると考えられます。

数字を読むときに、見えない人の席を残す

• 対象は「始めた人全員」か「今も続けている人」か。
• 途中で抜けた人は何人いるか。
• 回答しなかった人や、記録されなかった例はあるか。
• 成功例から、工夫を学びたいのか、成功する割合を知りたいのか。

見えている成功を疑うだけでなく、見えていない部分の場所を知る。そうすると、成功談は期待を膨らませるだけの物語から、試す方法を考える材料に変わります。

割合と内訳の面白さをもう少し読むなら、シンプソンのパラドックスもどうぞ。