結合エントロピー

情報理論
情報量
情報量 微分エントロピー 条件付きエントロピー 交差エントロピー 結合エントロピー 相互情報量 カルバック・ライブラー情報量 エントロピーレート
通信路
情報源符号化定理 通信路容量 通信路符号化定理 シャノン＝ハートレーの定理
単位
シャノン ナット ハートレー
その他
漸近等分割性（英語版） レート歪み理論（英語版）
カテゴリ
表 話 編 歴

結合エントロピー（けつごうエントロピー、英: joint entropy）とは、情報理論における情報量の一種。結合エントロピーは、2つの確率変数の結合した系でのエントロピーを表す。確率変数 ${\displaystyle X}$ と ${\displaystyle Y}$ があるとき、結合エントロピーは ${\displaystyle H(X,Y)}$ と記される。他のエントロピーと同様、単位は対数の底によってビット (bit)、ナット (nat)、ディット (dit) が使われる。

背景

確率変数 ${\displaystyle X}$ があるとき、そのエントロピー ${\displaystyle H(X)}$ は ${\displaystyle X}$ の値の不確かさを表す。${\displaystyle X}$ について、イベント ${\displaystyle x}$ が発生する確率が ${\displaystyle p_{x}}$ であるとき、${\displaystyle X}$ のエントロピーは次のようになる。

${\displaystyle H(X)=-\sum _{x}p_{x}\log _{2}(p_{x})\!}$

もう1つの確率変数 ${\displaystyle Y}$ では、イベント ${\displaystyle y}$ が発生する確率が ${\displaystyle p_{y}}$ であるとする。${\displaystyle Y}$ のエントロピーは ${\displaystyle H(Y)}$ で表される。

ここで、${\displaystyle X}$ と ${\displaystyle Y}$ が相互に関連したイベントを表しているとき、系全体のエントロピーは ${\displaystyle H(X)+H(Y)}$ にはならない。例えば、1から8までの整数を1つ選ぶとし、それぞれの整数が選ばれる確率が同じとする。${\displaystyle X}$ は選んだ整数が奇数かどうかを表し、${\displaystyle Y}$ は選んだ整数が素数かどうかを表すとする。1から8の整数のうち半分は偶数であり、同じく半分は素数である。したがって ${\displaystyle H(X)=H(Y)=1}$ となる。しかし、選んだ整数が偶数であるとわかっている場合、それが素数である場合は4つのうち1つしかない。つまり、2つの確率変数の分布は関連している。従って系全体のエントロピーは2ビットよりも小さくなる。

定義

ここで、考えられる結果の「対」 ${\displaystyle (x,y)}$ を全て考慮する。

それぞれの対の発生確率を ${\displaystyle p_{x,y}\quad }$ としたとき、結合エントロピーは次のようになる。

${\displaystyle H(X,Y)=-\sum _{x,y}p_{x,y}\log _{2}(p_{x,y})\!}$

上記の例では、1を素数と見なしていない。従って、結合確率分布は次のようになる。

${\displaystyle P({\text{even}},{\text{prime}})=P({\text{odd}},{\text{not prime}})=1/8}$

${\displaystyle P({\text{even}},{\text{not prime}})=P({\text{odd}},{\text{prime}})=3/8}$

以上から、結合エントロピーは次のようになる。

${\displaystyle -2{\frac {1}{8}}\log _{2}(1/8)-2{\frac {3}{8}}\log _{2}(3/8)\approx 1.8~{\text{bits}}}$

特性

部分エントロピーよりも大きい

結合エントロピーは、常に元の系のエントロピー以上となる。新たな系を追加しても不確かさが減ることはない。

${\displaystyle H(X,Y)\geq H(X)}$

この不等式が等式になるのは、${\displaystyle Y}$ が ${\displaystyle X}$ の（決定的）関数になっている場合だけである。

${\displaystyle Y}$ が ${\displaystyle X}$ の（決定的）関数であるとき、以下も成り立つ。

${\displaystyle H(X)\geq H(Y)}$

劣加法性

2つの系をまとめて考えたとき、それぞれの系のエントロピーの総和より大きなエントロピーには決してならない。これは劣加法性 (subadditivity) の一例である。

${\displaystyle H(X,Y)\leq H(X)+H(Y)}$

この不等式が等式になるのは、${\displaystyle X}$ と ${\displaystyle Y}$ に確率論的独立性がある場合だけである。

限界

他のエントロピーと同様、常に ${\displaystyle H(X,Y)\geq 0}$ が成り立つ。

他のエントロピー尺度との関係

結合エントロピーは、次のように条件付きエントロピーの定義に使われる。

${\displaystyle H(X|Y)=H(X,Y)-H(Y)\,}$

また、次のように相互情報量の定義にも使われる。

${\displaystyle I(X;Y)=H(X)+H(Y)-H(X,Y)\,}$

参考文献

• Theresa M. Korn; Korn, Granino Arthur. Mathematical Handbook for Scientists and Engineers: Definitions, Theorems, and Formulas for Reference and Review. New York: Dover Publications. pp. 613-614. ISBN 0-486-41147-8 

表 話 編 歴 確率論
確率の歴史	アンドレイ・コルモゴロフ トーマス・ベイズ アンドレイ・マルコフ ジョゼフ・L・ドゥーブ 伊藤清
確率の定義	客観確率 統計的確率 古典的確率 公理的確率 主観確率 ベイズ確率 確率の拡張 外確率 負の確率
基礎概念	モデル 試行 結果 事象 標本空間 確率測度 確率空間 確率変数 確率変数の収束 確率分布 離散確率分布 連続確率分布 同時分布 周辺分布 条件付き確率分布 独立同分布 関数 確率質量関数 確率密度関数 累積分布関数 特性関数 用語 独立 期待値 モーメント 条件付き確率 条件付き期待値
確率の解釈	ベルトランの逆説 3囚人問題 モンティ・ホール問題 サンクトペテルブルクのパラドックス 合接の誤謬 ギャンブラーの誤謬
問題	壺問題 クーポンコレクター問題
法則・定理	ベイズの定理 大数の法則 中心極限定理 コルモゴロフの0-1法則 デ・フィネッティの定理 ウィーナー＝ヒンチンの定理
測度論	確率測度の拡張 カラテオドリの拡張定理 E.ホップの拡張定理 コルモゴロフの拡張定理 ヴィタリの収束定理 ルベーグの優収束定理 ラプラス原理 スコロホッドの表現定理
確率微分方程式	伊藤の補題
確率過程	独立増分過程 定常過程 マルチンゲール マルコフ過程 マルコフ性 マルコフ連鎖 マルコフ決定過程 部分観測マルコフ決定過程 マルコフ再生過程 ウィーナー過程 ブラウン運動 幾何ブラウン運動 非整数ブラウン運動 ベルヌーイ過程 ガウス過程 自己相似過程 経験過程 中華料理店過程 オルンシュタイン＝ウーレンベック過程
情報量	最大エントロピー原理 交差エントロピー 結合エントロピー カルバック・ライブラー情報量 相互情報量
応用	数理ファイナンス ブラック–ショールズ方程式 確率的ボラティリティモデル 系統学 ベイズ法
カテゴリ