起こる確率pの結果を知ったときの驚きを、−log₂pビットで表すことがあります。まれな結果ほど大きくなります。
まず、身近な例で考える
確率1/2なら1ビット、1/8なら3ビットです。
ここで測るのは情報の価値や文章の深さではありません。確率モデルによって値が変わります。
確率1/2 → 1ビット
確率1/4 → 2ビット
確率1/8 → 3ビット
公平な二択と、八択を比べる
結果の確率をpとし、情報量をI=−log₂pビットと定めます。確率1/2の結果なら1ビット、1/4なら2ビット、1/8なら3ビットです。同じ確率の候補が多いほど、一つに絞られたときの情報量は大きくなります。
例えば八つの箱のどこに鍵があるかが一様に分からない状況で、正確な場所を知ることを考えます。二択の質問で候補を半分ずつ絞れるなら、三回で一つにできるという直感ともつながります。
一つの結果と、平均の不確実さは別
情報量は特定の結果についての値です。結果が出る前に、各情報量を確率で平均したものが情報理論のエントロピーです。偏ったコインでは、珍しい側の情報量は大きい一方、平均の不確実さは公平なコインより小さくなります。
必ず起こる結果はp=1なので情報量0です。確率0とモデル化した出来事が観測されたなら、式へ機械的に代入する前に、モデルが適切だったかを考える必要があります。
重要なニュースほど大きい、とは限らない
この量は、人生にとっての価値や文章の有益さを測るものではありません。長い文字列でも内容が既知なら新たな区別は少ない場合があります。容量、意味、価値、確率上の情報量を混同しないことが大切です。
自分で確かめる小問
確率1/16の結果の情報量は？
−log₂(1/16)=4ビットです。ただし、その結果の社会的な価値が他の情報の4倍という意味ではありません。
参考資料
本文の場面・数値例は、定義を理解するための説明用作例です。