結合エントロピー（英: Joint entropy）とは、情報理論における情報量の一種。結合エントロピーは、2つの確率変数の結合した系でのエントロピーを表す。確率変数 formula_1 と formula_2 があるとき、結合エントロピーは formula_3 と記される。他のエントロピーと同様、単位は対数の底によってビット (bit)、ナット (nat)、ディット (dit) が使われる。確率変数 formula_1 があるとき、そのエントロピー formula_5 は formula_1 の値の不確かさを表す。formula_1 について、イベント formula_8 が発生する確率が formula_9 であるとき、formula_1 のエントロピーは次のようになる。もう1つの確率変数 formula_2 では、イベント formula_13 が発生する確率が formula_14 であるとする。formula_2 のエントロピーは formula_16 で表される。ここで、formula_1 と formula_2 が相互に関連したイベントを表しているとき、系全体のエントロピーは formula_19 にはならない。例えば、1から8までの整数を1つ選ぶとし、それぞれの整数が選ばれる確率が同じとする。formula_1 は選んだ整数が奇数かどうかを表し、formula_2 は選んだ整数が素数かどうかを表すとする。1から8の整数のうち半分は偶数であり、同じく半分は素数である。したがって formula_22 となる。しかし、選んだ整数が偶数であるとわかっている場合、それが素数である場合は4つのうち1つしかない。つまり、2つの確率変数の分布は関連している。従って系全体のエントロピーは2ビットよりも小さくなる。ここで、考えられる結果の「対」 formula_23 を全て考慮する。それぞれの対の発生確率を formula_24 としたとき、結合エントロピーは次のようになる。上記の例では、1を素数と見なしていない。従って、結合確率分布は次のようになる。以上から、結合エントロピーは次のようになる。formula_28 bits結合エントロピーは、常に元の系のエントロピー以上となる。新たな系を追加しても不確かさが減ることはない。この不等式が等式になるのは、formula_2 が formula_1 の（決定的）関数になっている場合だけである。formula_2 が formula_1 の（決定的）関数であるとき、以下も成り立つ。2つの系をまとめて考えたとき、それぞれの系のエントロピーの総和より大きなエントロピーには決してならない。これは劣加法性 (subadditivity) の一例である。この不等式が等式になるのは、formula_1 と formula_2 に確率論的独立性がある場合だけである。他のエントロピーと同様、常に formula_38 が成り立つ。結合エントロピーは、次のように条件付きエントロピーの定義に使われる。また、次のように相互情報量の定義にも使われる。

出典:wikipedia