選択バイアスとは？回答者の80％を「全体の80％」と言えない理由

選択バイアスとは、観察される人やデータの選ばれ方によって、知りたい対象についての推定が系統的にずれることです。ここでは、アンケートで誰が回答に含まれやすいかという問題に絞って考えます。

「100人のうち80人が満足」と分かっても、全利用者の80％が満足しているとは限りません。人数に加えて、その100人に届くまでの道筋が必要です。

1,000人と回答100人の、違う構成

架空のアプリ利用者1,000人を、よく使う200人と、ときどき使う800人に分けます。説明のため、よく使う人の満足率は90％、ときどき使う人は40％だと分かっているものとします。

ところが、アプリ内で回答を募ると、よく使う人80人、ときどき使う人20人が答えたとします。各集団の回答者も同じ満足率だった、という単純化した例なら、回答は次のようになります。

回答者の満足率は80％ですが、全体は50％です。よく使う人の割合が、全体では20％、回答者では80％と違うためです。誰も嘘をつかず、集計も正しくても、全体への広げ方でずれが生まれます。

人数を10倍にしても、集め方が同じなら？

同じような構成で回答だけが増えても、よく使う人へ偏る仕組みは残ります。回答数を増やすことは偶然のばらつきを減らす助けになりますが、対象の構成を自動的に直す操作ではありません。

ただし「よく使う人に、どの機能が好まれているか」という問いなら、その人々の回答が役立ちます。選択バイアスを考える目的はデータを全否定することではなく、どの範囲について何が言えるかをそろえることです。

どの段階で偏りが入りやすいか

• 対象者へ届く前：連絡先がある人だけを名簿に入れ、ほかの人が選ばれない。
• 参加を選ぶ段階：強い満足・不満を持つ人ほど、自分から回答する。
• 回答を続ける段階：長い質問票の途中で、特定の人が離脱する。
• 分析へ残す段階：都合のよいケースだけを、後から取り出す。

実際にどの方向へ偏るかは状況次第です。自発的な回答だから必ず高評価になるわけではなく、不満のある人が答えやすい場合もあります。偏りの存在・向き・大きさを、名前だけで断定しません。

標本誤差・生存者バイアスとの違い

標本誤差は、無作為に一部を取り出したときの偶然のずれです。選択バイアスでは、特定の人が入りやすい・抜けやすい仕組みが問題になります。両方が同時に存在することもあります。

生存者バイアスは、継続・成功などを経て残った例だけを見てしまう問題です。現在の利用者だけを見て、途中でやめた利用者を除く場合など、選択の問題として関係します。早まった一般化は、根拠から広すぎる結論へ進む推論の誤りで、集め方だけでなく結論の範囲にも注目します。

重み付けをすれば必ず直る？

最初の例では、集団ごとの本当の構成比と、回答者の各集団の満足率が正しく分かっているという仮定なら、90％×0.2＋40％×0.8＝50％と重み付けできます。

しかし現実には、同じ「ときどき使う人」の中でも、回答した人としなかった人の満足度が違うかもしれません。把握している区分だけをそろえても、測っていない違いは残り得ます。重み付けは根拠となる情報と仮定を必要とする方法です。

調査を改善するための順番

1. 母集団を具体的に決める。
2. その人々が選ばれる機会のある名簿や連絡方法を用意する。
3. 適切な抽出方法を選び、依頼と回答の人数を記録する。
4. 答えなかった人について分かる範囲の特徴も比べる。
5. 補正の仮定と、結果を広げられる範囲を明記する。

退会者へ聞く場合も、連絡への同意や利用目的の範囲を守る必要があります。データを増やすことより先に、知りたい問いと集められる情報の対応を考えます。

参考資料

• AAPOR：Best Practices for Survey Research
• 総務省統計局：全数調査・標本調査
• AAPOR：Standard Definitions

本文の人数・割合・場面は、説明用に作成した架空の例です。