同じ内容を短く送る方法と、壊れても復元できる方法は、異なる工夫です。情報量・冗長性・誤り訂正など24語を、0と1の簡単な例で説明します。
各項目は意味・具体例・注意点の順に読めます。例は理解のための作例です。言葉だけで相手や現象を決めつけず、成立する条件も確認してください。
情報を数える
1．ビット
二つの選択肢を区別する情報の単位です。記憶装置では0か1を取る一桁としても使います。
具体例：二桁なら00・01・10・11の四通りを表せます。
注意点：ビットとバイトは別の単位です。一般に1バイトは8ビットです。
2．情報量
起こる確率pの結果を知ったときの驚きを、−log₂pビットで表すことがあります。まれな結果ほど大きくなります。
具体例：確率1/2なら1ビット、1/8なら3ビットです。
注意点：ここで測るのは情報の価値や文章の深さではありません。確率モデルによって値が変わります。
3．エントロピー
情報理論では、結果ごとの情報量を確率で平均した量です。結果を知る前の不確実さを表します。
具体例：公平な二択なら1ビット。片方に偏った二択では平均の不確実さは小さくなります。
注意点：熱力学のエントロピーとの関係はありますが、文脈や単位を確認せず同一視しないでください。
4．確率分布
どの結果がどれほど起こるかを、確率の組として表すものです。情報量を計算するときの前提になります。
具体例：四つの記号が各1/4で出る場合と、一つが大半を占める場合を比べます。
注意点：観測した少数の頻度が、将来の真の確率と完全に一致するとは限りません。
表現を変える
5．符号化
記号やデータを、送信・保存に使う別の表現へ対応させることです。対応表や規則が必要です。
具体例：赤を00、青を01、緑を10と決めれば、色をビット列で伝えられます。
注意点：暗号化とは目的が違います。表現を変えただけでは秘密を守れません。
6．復号
符号化された表現から、規則に従って元の記号などを取り出す処理です。
具体例：00・01を対応表で赤・青に戻します。
注意点：区切りや対応表が曖昧だと、同じ列から複数の読み方が生じます。
7．可逆圧縮
元のデータを完全に復元できる形で、表現を短くする方法です。
具体例：同じ文字の長い繰り返しを、文字と回数の組で表す方法を考えます。
注意点：あらゆる入力を必ず短くできるわけではありません。管理情報で逆に長くなることもあります。
8．非可逆圧縮
用途に応じて一部の情報を捨て、容量を減らす方法です。完全な元データの復元はできません。
具体例：写真で細かな違いを省けば容量を減らせますが、拡大や再編集で差が目立つことがあります。
注意点：見た目が似ていることと、データが同じことは別です。保存目的に応じて選びます。
誤りに備える
9．冗長性
必要最小限を超える重複や規則性です。容量の無駄になる場合もあれば、誤りへの備えとして役立つ場合もあります。
具体例：1を111、0を000として送れば、1桁の変化を多数決で修正できます。
注意点：同じ障害で全部が壊れるなら、繰り返しだけでは守れません。独立性と故障の種類が重要です。
10．誤り検出
受け取ったデータが定めた規則に合うかを調べ、誤りの可能性を見つける仕組みです。
具体例：1の個数が偶数になるよう一桁追加しておくと、一桁の反転を検出できます。
注意点：検出できても、どこが違うかや正しい値まで分かるとは限りません。
11．誤り訂正
余分な情報と符号の規則を使い、一定の範囲の誤りを直す仕組みです。
具体例：000か111だけを送るなら、010を000と推定できます。ただし一桁以下の反転という条件が必要です。
注意点：どんな誤りでも直せるわけではありません。訂正能力を超えると誤った復元も起こります。
12．ハミング距離
同じ長さの二つの列を比べ、異なる位置の数を数えた距離です。
具体例：000と101は二か所違うので距離2です。
注意点：文字の挿入や削除まで含む距離とは別です。まず同じ長さ・同じ位置の比較を考えます。
通信の条件を読む
13．通信路
情報が送り手から受け手へ伝わる経路を、入出力の関係として扱うモデルです。
具体例：雑音で0が1に変わる確率を持つ経路を想定します。
注意点：通信路は物理的なケーブルだけでなく、保存装置の読み書きも同様の考え方で扱えます。
14．雑音
伝達や観測において、元の信号との区別を難しくする変動や干渉です。
具体例：音声通話に環境音が混じると、単語を聞き違える可能性が増えます。
注意点：雑音を消せば必ず元が分かるわけではありません。既に失われた区別は回復不能な場合があります。
15．通信路容量
一定の通信路モデルのもとで、誤り確率を十分小さくして伝えられる情報の速度の限界を表す量です。
具体例：伝送速度を上げるだけでは、雑音下で確実に届く情報量が同じだけ増えるとは限りません。
注意点：実際の機器が常に理論限界に達するわけではありません。遅延や計算量などの制約もあります。
16．帯域幅
通信では利用できる周波数帯の幅を指すことがあります。日常のIT用語では転送能力の意味でも使われます。
具体例：Hzで示す周波数の幅と、bit/sで示す転送速度を区別して読みます。
注意点：単位を見ずに数字だけ比較すると、異なる量を比べてしまいます。
覚えた言葉を、自分の例で確かめる
気になった一語を選び、「当てはまる例」と「似ているけれど当てはまらない例」を一つずつ作ると、定義の境界が見えてきます。説明が難しいときは、隣の項目との違いから考えてみましょう。