判別分析（はんべつぶんせき、）は、事前に与えられているデータが異なるグループに分かれる場合、新しいデータが得られた際に、どちらのグループに入るのかを判別するための基準（判別関数、）を得るための正規分布を前提とした分類の手法。英語では線形判別分析（）をLDA、二次判別分析（）をQDA、混合判別分析（）をMDAと略す。1936年にロナルド・フィッシャーが線形判別分析を発表し、1996年に Trevor Hastie, Robert Tibshirani が混合判別分析を発表した。3つ以上のグループの判別は重判別分析（）や正準判別分析と呼ばれる。判別関数には以下の物などがある。線形判別分析は、以下の前提条件が成立する必要がある。その上で、マハラノビス汎距離（）が等距離の所に直線を引く。これらの前提条件が成立しないとおかしな結果になる。各グループの平均が異なる以上、分散が異なることは多々ある。等分散性の仮定を外した物が二次判別分析である。それぞれのグループで異なる共分散行列を使用してマハラノビス距離を計算して、等距離になる場所を判別曲面とする方法である。この方法は二次関数となり、正規分布が成立している場合は正しい結果になる。線形判別分析において、グループ間の確率のロジットは線形関数となるが、ここで線形関数という仮定を残したまま、正規分布や等分散性の仮定を外すとロジスティック回帰や単純パーセプトロンになる。さらに別な方法としては、線形判別関数を使用したい場合は、線形サポートベクターマシンで線形判別関数を求めるという方法もある。線形判別関数は以下の通り。これの正負で判断。formula_1 は入力、formula_2 は平均、formula_3 は共分散行列。この式は多変量正規分布の式より導出できる。より細かく、線形判別関数 ("y=ax+ax+…+ax+a") の求め方を以下に示す。グループの平均を中心に回転・軸方向のスケーリングを行い共分散行列を揃え、線形判別分析を行えば良い。単一の正規分布ではなく、混合正規分布で表現した物を混合判別分析という。その場合でも共分散行列は共通の物を使う。混合正規分布を使うことにより複雑な分布も扱えるようになる。混合正規分布はEMアルゴリズムなどで求める。

出典:wikipedia