哲学入門備忘録/ふるる
すごく珍しいことが起きたことに含まれる情報量はｐ＝１/1024
ごく当たり前ならばｐ＝1/1＝０
この情報量は「自己情報量」という
情報源が平均として生み出す情報の量を定義する。情報源のエントロピーと呼ばれる量
コインを情報源と見た時に、それが生成するメッセージの平均量を単位として決めたい。情報源が情報を生み出す確率を調べて全部足す。
フェアなコインのエントロピーは１ビット、偏ったコイン（表しか出ない）のエントロピーは0.6ビット。フェアな方が情報量は多い。
シャノンは情報源ではなく通信路に関心があった。
通信路容量ビット/秒を考える。
情報を効率よく信号にできると
[次のページ]
戻る 編 削 Point(1)