相互情報量は、一方の確率変数を知ることで、もう一方についての不確実さが平均してどれだけ減るかを表す量です。対数の底を2にすると単位はビットです。ここでは離散的な変数を扱います。
コインの結果をそのまま伝える
公平なコインの結果Xは、見る前には表と裏が半々です。受信値Yが必ずXと同じなら、Yを知った後のXには不確実さが残りません。H(X)=1、H(X|Y)=0なので、I(X;Y)=1ビットです。
別の公平なコインを独立に投げ、その結果をYとしたらどうでしょう。Yを知ってもXの表裏の確率は変わりません。条件付きエントロピーは1のままで、相互情報量は0です。
1
Xを見る前：1ビット
2
YがXを正確に伝える
3
残り0 → 減少1ビット
公式の読み方
I(X;Y)=H(X)−H(X|Y)は、「最初の不確実さ」から「Yを知った後に平均して残る不確実さ」を引く形です。XとYを入れ替えても値は同じですが、条件付きエントロピーそのものが同じとは限りません。
相互情報量は、直線的な関係だけを捉える相関係数とは異なります。相関係数が0でも依存関係があり、相互情報量が正になることがあります。ただし実データからの推定には標本数や推定法の問題が伴います。
原因の向きは決められない
傘を差す人が多いことと道が濡れることに関係があっても、傘が道を濡らす原因とは限りません。共通の原因や測定の事情もあり得るため、関連の量だけで因果を断定しません。
よくある疑問
情報量が多いほど大事な情報ですか？
情報理論の量は、意味の深さや役立ち度そのものを測るものではありません。確率分布に基づく不確実さの変化を数えています。
参考資料
定義と論点を確認するための資料です。本文の身近な場面と数値は、理解のために作成した例です。