主成分分析（しゅせいぶんぶんせき、）は、観測値の組を直交変換し、線型な相関を持たない特徴量の組によって表示する統計手法である。主成分分析において、観測値の直交変換によって得られる特徴量を主成分 と呼ぶ。主成分の個数は元の観測値の個数より少ないか、あるいは等しく、変数として観測値ではなく主成分を用いることによって計算対象とする空間の次元を削減したり、相関関係を簡潔に表現することができる。主成分を与える変換は、第一主成分の分散を最大化し、続く主成分は以前に決定した主成分と直交する拘束条件の下で分散を最大化するようにして選ばれる。主成分の分散を最大化することは、観測値の変化に対する説明能力を可能な限り主成分に持たせる目的で行われる。選択された主成分は互いに直交し、与えられた観測値のセットを線型結合として表すことができる。言い換えると、主成分は観測値のセットの直交基底となっている。主成分ベクトルの直交性は、主成分ベクトルが（分散）共分散行列（あるいは相関係数行列）の固有ベクトルになっており、共分散行列が実対称行列であることから導かれる。主成分は、共分散行列に対する固有値分解あるいは、分散共分散行列（相関係数行列）に対応した偏差行列（相関係数行列の場合には標準化された行列）の特異値分解によって得ることができる。主成分分析の結果は、元の観測値（対象）に対応した変換後の値である主成分得点と、各々の主成分得点に対する変数の重みに相当する負荷量として得られる。主成分分析は観測値の間の相対的なスケールに対して敏感である。主成分分析はにおける主要な道具であり、にも使われる。主成分分析は観測値の（分散）共分散行列や相関行列に対する固有値分解、あるいは（大抵は正規化された）データ行列の特異値分解によって行われる。主成分分析の結果は主成分得点（因子得点とも呼ばれる）と因子負荷量によって評価される。主成分得点とは、あるデータ点を主成分ベクトルで表現した場合の基底ベクトルにかかる係数であり、ある主成分ベクトルのデータ点に対する寄与の大きさを示す。因子負荷量はある主成分得点に対する個々の（正規化された）観測値の重みであり、観測値と主成分の相関係数として与えられる。主成分分析による評価は主成分得点と負荷量をそれぞれ可視化した主成分プロット、あるいは2つを重ね合わせたバイプロットを通して解釈される。主成分分析を実行するためのソフトウェアや関数によって、観測値の基準化の方法や数値計算のアルゴリズムに細かな差異が存在し、個々の方法は必ずしも互いに等価であるとは限らない（例えば、R言語における codice_1 関数と FactoMineR の codice_2 関数の結果は異なる）。主成分分析は1901年にカール・ピアソンによって導入された。ピアソンは力学におけるからの類推によって主成分分析の方法を得た。主成分分析は、ピアソンとは独立に1930年代にハロルド・ホテリングよっても導入され、ホテリングによって主成分分析 と呼ばれるようになった。主成分分析は応用分野によって様々な呼び名があり、信号処理の分野では離散（コサンビ・）カルフネン・ロエヴェ変換 あるいはKL展開 と呼ばれ、品質管理の分野ではホテリング変換 、機械工学では固有直交分解 と呼ばれ、また数学の線型代数学では、行列 の特異値分解や の固有値分解と呼ばれる。計量心理学では因子分析、エッカート・ヤング定理、シュミット・ミルスキー定理などと呼ばれ、気象学では経験的直交関数、雑音や振動の分野では、経験固有関数分解 や経験的成分分析 、準調和モード、スペクトル分解、構造力学ではモーダル解析などと呼ばれる。主成分分析は純粋に固有ベクトルに基づく多変量解析の中で最も単純なものである。主成分分析は、データの分散をより良く説明するという観点から、そのデータの内部構造を明らかにするものだと考えられている。多くの場合、多変量のデータは変数の次元が大きく、各変数の軸をとってデータを視覚化することは難しいが、主成分分析によって変数をより少ない次元に集約することでデータを視覚化できる。主成分分析によって得られる情報は、データセットを元のデータ変数の空間から主成分ベクトルのなす空間へ射影したものであり、元のデータから有用な情報を抜き出したものになっている。主成分分析によるデータ構造の可視化は、可視化に必要なだけの少数の主成分を選択することで実現される。主成分分析は因子分析によく似ている。因子分析は、データの背後にある構造に関する分野固有の仮設と、主成分分析の場合とはわずかに異なった行列に対する固有ベクトルを求める手法である、と要約できる。主成分分析は正準相関分析 とも関わりがある。正準相関分析は二つのデータセット間の相互共分散に基いて座標系を定める手続きだが、主成分分析は単一のデータセットの分散に基いて座標系を選択する手法である。以下、特に断りのない限り、PCAを主成分分析の略、PCを主成分の略として用いる。PCAは与えられたデータを 次元の楕円体にフィッティングするものであると考えることができる。このとき、それぞれの主成分は楕円体の軸に対応している。楕円体の軸が短いほどデータの分散は小さく、短い軸に対応する主成分を無視することで、データの分散と同程度に小さな情報の損失だけで、データをより少ない変数で表現することができる。楕円体の軸を見つけるには、データの平均を座標軸の原点に合わせる必要がある。そのため、データの共分散行列を計算し、共分散行列に対する固有値と固有ベクトルを計算する。また、それぞれの固有ベクトルを直交化し、正規化する必要がある。固有ベクトルの組として互いに直交する単位ベクトルが得られたなら、それらに対応する軸を持つ楕円体によってデータをフィッティングすることができる。それぞれの軸に対する分散の比は、その軸に対応する固有ベクトルに対する固有値を、すべての固有値の和で割ったものとして得ることができる。注意すべき点として、分散はデータのスケールに依存するため、PCAの結果はデータをスケール変換することで変わり得るということが挙げられる。数学的にはPCAはデータの基底に対し直交変換を行い、新たな座標系を得ることであり、新しい座標系はその第一成分（第一主成分と呼ばれる）から順に、データの各成分に対する分散が最大になるように選ばれる。以下では、データ行列 として、各列の標本平均が 0 になるものを考える。データ行列の各列 はそれぞれデータが持つ特定の指標に対応し、データ行列の各行 はそれぞれ異なる事例に対する指標の組を表す。PCAは 次元ベクトル によってデータ行列 の各行 を主成分得点のベクトル に変換することであり、主成分得点 はデータ点 と負荷量ベクトル の内積によって与えられる。負荷量ベクトル は単位ベクトルであり、各主成分得点の分散を第一主成分から順に最大化するように選ばれる。負荷量ベクトルの個数（つまりPCの数） は、元の指標の数 に等しいか、より小さい数が選ばれる ()。負荷量ベクトルの個数、つまり新しいデータ空間の次元を元の空間の次元より少なくとることで、をすることができる（#次元削減を参照）。PCAによる次元削減は、データの分散に関する情報を残すように行われる。第一主成分に対応する負荷量 は以下の条件を満たす。上記の関係を行列記法で表せば、以下のようになる。更に変数 が単位ベクトルという制約を除けば、上述の条件は次の等価な条件に簡約化することができる。右辺の最大化される量はと見ることができる。 は対称行列だから、対称行列に関する基本的な結果より、レイリー商の最大値は対称行列の最大固有値となること、それに伴い負荷量は対応する固有ベクトルとなることが示される。第一負荷量 が得られれば、データ点 に対応する主成分得点 、あるいは対応するベクトル が得られる。 番目の主成分は 番目までの主成分をデータ行列 から取り除くことで得られる：負荷量ベクトルは新たなデータ行列に対して主成分得点の分散が最大となるようなベクトルとして与えられる。このことから、新たな負荷量ベクトルは対称行列 の固有ベクトルであり、右辺の括弧内の量の最大値は対応する固有値を与えることが分かる。従って、すべての負荷量ベクトルは の固有ベクトルである。データ点 の第 主成分は主成分得点 として負荷量ベクトルを基底とする表示が与えられ、また対応するベクトルは主成分得点に対応する基底ベクトルをかけた となる。ここで は行列 の第 固有ベクトルである。ここで は の正方行列であり、各列ベクトルは行列の の固有ベクトルであり単位ベクトルである。 はデータセット から与えられる経験的な標本共分散行列に比例する。データセット に対する、2つの異なる主成分の間の標本共分散 は以下のようにして得られる：(∗) の変形において、 が行列 の固有値 に対応する固有ベクトルであることを利用した。 は対称行列であり、対称行列の異なる固有値に対応する固有ベクトル達は互いに直交するから、結局データセット に対する異なる主成分間の標本共分散 はゼロとなる。上述の結果を言い換えると、主成分変換は経験的な標本共分散行列を対角化する座標変換であると特徴づけられる。元々の基底に対する経験共分散行列 は行列記法によって以下のように表わすことができる。ここで は の固有値 からなる対角行列である。固有値 は対応する添え字の主成分得点の二乗和に等しい。行列 が得られれば、行列 の直交性を利用して、主成分ベクトルを基底とする経験共分散行列として次の表示が得られる。線型変換 はデータ点 を元の 次元の空間から、与えられたデータセットに対して各成分が互いに無相関になるような 次元の空間へ写すが、一部の主成分だけを残すような変換も考えることができる。第一主成分から順に、各主成分に関するデータの分散が単調減少するように負荷量ベクトルが得られるため、最初の 個の負荷量ベクトルだけを残し、残りの説明能力の低い負荷量ベクトルを無視すると、次のような変換が得られる。データ行列を変換することで得られる主成分得点行列は、元のデータセットの分散を保存し、二乗再構成誤差 の総和、を最小化するように与えられる。元のデータセットの分散を出来る限り残すように次元削減することは、高次元のデータセットを可視化する上で重要である。例えば、主成分の数を に選び、2つの主成分がなす平面にデータセットを射影すると、射影されたデータ点は主成分のなす平面に対して最もよく分散し、データに含まれるクラスタはそれぞれ分離される。したがって、2つの主成分がなす平面はデータを平面上にプロットする上で都合がよい。射影平面として別の平面を選んだ場合、クラスタ間のばらつきは小さくなり互いに重なり合うようになるため、実質上はそれぞれのクラスタを分類することが困難になってしまう。回帰分析でも次元削減は有効である。回帰分析において、説明変数の数を増やすほど特定のデータに対して過剰適合したモデル、すなわち他のデータセットに対して誤った結果を与えるモデルを得がちである。モデル生成に使ったデータに対してモデルが過剰適合しないためには、説明変数の個数を適当に制限する必要があり、一つのアプローチとして、互いに強い相関を持つ説明変数を削減し、より少数の主成分によって回帰分析を行う方法がある。この方法をと呼ぶ。次元削減はノイズの大きなデータを分析する上でも適切であることが多い。データ行列の各列、つまりそれぞれの特徴量に対して独立同分布なガウシアンノイズが含まれる場合、変換されたデータ行列 の列にも同様に独立同分布なガウシアンノイズが含まれる（座標軸の回転操作 に対して独立同分布なガウス分布は不変であるため）。しかしながら、最初の少数の主成分に関しては、全体の分散に比べてノイズに由来する分散が小さくなるため、シグナル・ノイズ比を高めることができる。PCAは主要な情報を少数の主成分に集中させるため、次元削減によってノイズが支配的な成分だけを捨て、データ構造を反映した有用な成分を取り出すことができる。主成分変換は行列の特異値分解 (SVD)とも結び付けられる。行列 のSVDは以下の形式で与えられる。ここで、 は の矩形対角行列であり、対角成分 が正の行列である。 の対角成分を行列 の特異値という。 は の正方行列であり、各列が互いに直交する 次元の単位ベクトルとなる行列（つまり直交行列）である。各々の単位ベクトルは行列 の左特異ベクトルと呼ばれる。同様に は、各列が互いに直交する 次元の単位ベクトルとなる の正方行列である。こちらの単位ベクトルは行列 の右特異ベクトルと呼ばれる。前節で示した の固有値分解と見比べると、 の右特異ベクトルの組 はまた の固有ベクトルの組でもあり、 の特異値 は の固有値 の平方根に等しいことが分かる。特異値分解を主成分得点行列 に対して行うと、以下のような分解が得られる。主成分分析の実装として、 の特異値分解のアルゴリズムがしばしば利用される。特異値分解から寄与の小さな特異値を除いて を作るということは、元の行列とのフロベニウスノルムで測った差を最小化するような階数 の行列を選ぶことに相当する。この結果はエッカート・ヤング定理として知られる。

出典:wikipedia