相互情報量（そうごじょうほうりょう、）または伝達情報量（でんたつじょうほうりょう、）は、確率論および情報理論において、2つの確率変数の相互依存の尺度を表す量である。最も典型的な相互情報量の物理単位はビットであり、2 を底とする対数が使われることが多い。形式的には、2つの離散確率変数 "X" と "Y" の相互情報量は以下で定義される。ここで、formula_2 は formula_3 と formula_4 の同時分布関数、formula_5 と formula_6 はそれぞれ formula_3 と formula_4 の周辺確率分布関数である。連続の場合、総和の代わりに二重の定積分を用いる。ここでの "p"("x

出典:wikipedia