固有値問題・固有空間・スペクトル分解 の履歴(No.31)
更新- 履歴一覧
- 差分 を表示
- 現在との差分 を表示
- ソース を表示
- 線形代数II/固有値問題・固有空間・スペクトル分解 へ行く。
概要†
$n$ 次正方行列 $A$ の固有値問題†
1年生でしっかりやったはずなので、ここでは簡単におさらい。
固有値問題†
$$\begin{aligned}A\bm x=\lambda\bm x\hspace{1cm}\text{ただし}\hspace{1cm}\bm x\ne\bm 0\end{aligned}$$
を満たすような $\lambda$ を固有値、$\bm x$ を固有ベクトルと呼ぶ。
これらを求めるのが固有値問題。
変形すると $(A-\lambda E)\bm x=\bm 0$
もし $(A-\lambda E)$ が正則なら $\bm x=(A-\lambda E)^{-1}\bm 0=\bm 0$ となってしまってダメなので、$\lambda$ は次の式を満たさなければならない。
$$\begin{aligned}|A-\lambda E|=0\end{aligned}$$
これは $\lambda$ に関する $n$ 次方程式($A$ の固有方程式と呼ぶ) となる。これを複素数の範囲で解けば、重複度を含めて $n$ 個の $\lambda$ が求まる(Wikipedia:代数学の基本定理)
固有方程式から得られたそれぞれの $\lambda$ について、
$(A-\lambda E)\bm x=\bm 0$ を $\bm x$ について解くことで、
1コ以上、重複度コ以下の一次独立な固有ベクトルの線形結合の形で $\bm x$ の一般解が求まる
$\bm x=c_1\bm x_1+c_2\bm x_2+\dots+c_r\bm x_r$ $c_k\in K$ $r\le(\text{重複度})$
$r$ は解の自由度と呼ばれる。
固有空間†
上記の固有ベクトルの式は、固有ベクトルの集合が $\bm x_1,\bm x_2,\dots,\bm x_r$ で張られる線形空間を作ることを示している。そこで、固有値 $\lambda$ に対して固有空間 $V(\lambda)$ を
$$ V(\lambda)=\{\,\bm x\,|\,A\bm x=\lambda \bm x\} $$
として定義すれば、上記の $\bm x_1,\bm x_2,\dots,\bm x_r$ がその基底となり、 $r$ がその次元となる。
練習†
$\displaystyle A=\begin{pmatrix}\cos\theta&-\sin\theta\\\sin\theta&\cos\theta\\\end{pmatrix}$ について固有値問題を解け。ただし $\theta\ne 2m\pi$
$A$ は回転を表わす行列。一方で、固有値問題は $A\bm x=\lambda\bm x$ だから、$A$ を掛けても向きの変わらないベクトルを探す問題。すなわち・・・解無しになるのでは? と思うのが正しい感覚。
実際、実数の範囲では固有値は存在しない。一方、複素数の範囲ではどんな行列にも必ず重複度を含めて $n$ コの固有値が存在し、それぞれの固有値に対して最低1コの固有ベクトルが見付かる。
回転を表わす上記の $A$ に対しても、複素数の範囲ならばちゃんと固有値・固有ベクトルが見付かることを確認せよ。
解答†
$\sin\theta=0$ では $A=E$ または $A=-E$ なので、
任意のベクトルが固有値 1 または -1 の固有ベクトルになる。
以下では $\sin\theta\ne 0$ として解く。
$$\begin{aligned} |A-\lambda E|=\begin{vmatrix} \cos\theta-\lambda&-\sin\theta\\ \sin\theta&\cos\theta-\lambda\\ \end{vmatrix} =(\cos\theta-\lambda)^2+\sin^2\theta=0 \end{aligned}$$
すなわち、
$$\begin{aligned}(\cos\theta-\lambda)^2=-\sin^2\theta\end{aligned}$$
$\sin\theta\ne 0$ のとき、$-\sin^2\theta<0$ だから、 実数の範囲にこの方程式を満たす $\lambda$ は存在しない。
しかし複素数の範囲であれば、
$$\begin{aligned}\cos\theta-\lambda=\pm i\sin\theta\end{aligned}$$
$$\begin{aligned}\lambda=\cos\theta\mp i\sin\theta\end{aligned}$$
として、$2$ 個の $\lambda$ が求まる。 2個なのは元の行列が2次の正方行列であったためだ。
対応する固有ベクトルを求めるには、
$$ (A-\lambda E)\bm x=\begin{pmatrix} \pm i\sin\theta&-\sin\theta\\ \sin\theta&\pm i\sin\theta\\ \end{pmatrix}\bm x=\bm 0 $$
を解けばよく、係数行列を同値変形すると、
$$ \sim\begin{pmatrix} \pm i\sin\theta&-\sin\theta\\ \sin\theta&\pm i\sin\theta\\ \end{pmatrix} \sim\begin{pmatrix} \pm i&-1\\ 1&\pm i\\ \end{pmatrix} \sim\begin{pmatrix} 1&\pm i\\ 1&\pm i\\ \end{pmatrix} \sim\begin{pmatrix} 1&\pm i\\ 0&0\\ \end{pmatrix} $$
3つ目の $\sim$ では1行目に $\mp i$ をかけた。
したがって、$x\pm iy=0$ となり、掃出せなかった $y$ をパラメータとすれば、
$\lambda=\cos\theta+i\sin\theta$ の固有ベクトルの一般形は
$$\begin{aligned}\bm x=y\begin{pmatrix} i\\1 \end{pmatrix}\end{aligned}$$
$\lambda=\cos\theta-i\sin\theta$ の固有ベクトルの一般形は
$$\begin{aligned}\bm x=y\begin{pmatrix} {}-i\\1 \end{pmatrix}\end{aligned}$$
となる。
実際に入れてみると、
$$\begin{aligned} \begin{pmatrix} \cos\theta&-\sin\theta\\ \sin\theta&\cos\theta\\ \end{pmatrix}\begin{pmatrix} \pm i\\1 \end{pmatrix}&= \begin{pmatrix} \pm i\cos\theta-\sin\theta\\ \pm i\sin\theta+\cos\theta \end{pmatrix}= \begin{pmatrix} \pm i(\cos\theta\pm i\sin\theta)\\ \cos\theta\pm i\sin\theta \end{pmatrix}\\&= (\cos\theta\pm i\sin\theta)\begin{pmatrix} \pm i\\ 1 \end{pmatrix}= e^{\pm i\theta} \begin{pmatrix} \pm i\\ 1 \end{pmatrix} \end{aligned}$$
のようになって、確かに固有値・固有ベクトルになっていることが分かる。
これらの固有ベクトルに対して、「平面内の回転」を表す行列が、 「複素数の位相を回転」させているのは興味深いところだ。
これらの固有値に対して、固有空間は、
$$V(e^{i\theta})=\big[\begin{pmatrix}i\\1\end{pmatrix}\big],V(e^{-i\theta})=\big[\begin{pmatrix}-i\\1\end{pmatrix}\big]$$
と表せる。
対角化†
固有値は重複度を含めて $n$ 個存在するから、 それぞれの固有値に対してちょうど重複度に等しい数の一次独立な固有ベクトルが求まる場合には (必ずしも見付からない)、それらをすべて集めると $n$ 個の一次独立な固有ベクトルが見つかることになる。
$$\begin{aligned}A\bm x_1=\lambda_1\bm x_1\end{aligned}$$
$$\begin{aligned}A\bm x_2=\lambda_2\bm x_2\end{aligned}$$
$$\begin{aligned}\phantom{A\bm x_2}\vdots\end{aligned}$$
$$\begin{aligned}A\bm x_n=\lambda_n\bm x_n\end{aligned}$$
これらをまとめて書くと、
$$\begin{aligned} A\underbrace{\Big(\bm x_1\ \bm x_2\ \dots\ \bm x_n\Big)}_P &=\Big(A\bm x_1\ A\bm x_2\ \dots\ A\bm x_n\Big)\\ &=\Big(\lambda_1\bm x_1\ \lambda_2\bm x_2\ \dots\ \lambda_n\bm x_n\Big)\\ &=\underbrace{\Big(\bm x_1\ \bm x_2\ \dots\ \bm x_n\Big)}_P \underbrace{\begin{pmatrix} \lambda_1\\ &\lambda_2\\ &&\ddots\\ &&&\lambda_n \end{pmatrix}}_\Lambda \end{aligned}$$
$$\begin{aligned}AP=P\Lambda\end{aligned}$$
$P$ の列ベクトルが一次独立であることから $P$ は正則なので、 左から $P^{-1}$ を掛ければ、
$$\begin{aligned}P^{-1}AP=\Lambda\end{aligned}$$
として、正則行列 $P$ により $A$ を対角化できる。
「$n$ 個の一次独立な固有ベクトルが見つかる」あるいは 「固有ベクトルで全体空間の基底を作れる」ということと 「対角化できる」は同値な条件になっている。
線形変換の固有値問題†
線形変換 $T:V\to V$ に対して、
$$\begin{aligned}T\bm x=\lambda\bm x\text{ ただし }\bm x\ne\bm 0\end{aligned}$$
を満たすスカラー $\lambda$ を固有値、ベクトル $\bm x$ を固有ベクトルと呼ぶ。
この方程式の、ある基底 $A$ に対する表現は
$$\begin{aligned}T_A\bm x_A=\lambda\bm x_A\text{ ただし }\bm x_A\ne\bm 0\end{aligned}$$
となるから、行列 $T_B$ の固有値問題を解けば $T$ の固有値問題が解ける。
当然、別の基底 $B$ に対する表現も
$$\begin{aligned}T_B\bm x_B=\lambda\bm x_B\text{ ただし }\bm x_B\ne\bm 0\end{aligned}$$
となるから、
$$\begin{aligned}(T\,\text{の固有値})&=(T_A\,\text{の固有値})\\ &=(T_B\,\text{の固有値})\end{aligned}$$
であり、固有値は基底の取り方に依存しない。
基底 $A$ から基底 $B$ への基底の変換行列を $P_{A\to B}$ とすると、
$T_B=P_{A\to B}^{-1}T_AP_{A\to B}$
異なる基底に対する $T$ の表現 $T_A,T_B$ は互いに相似の関係にあるのだから、固有値が等しいのは当然だ。
すなわち、線形変換の固有値や、全固有値の積 = デターミナント、全固有値の和 = トレース を定義可能。
固有ベクトル $\bm x$ 自体も基底の取り方に寄らないものの、 (当然ではあるが)その表現 $\bm x_A,\bm x_B$ は基底の取り方に依存する。
練習†
$x$ の2次以下の多項式からなる線形空間 $P^2[x]$ において、 次の線形変換を考える。
$$\begin{aligned}T:f(x)\mapsto f(x+1)\end{aligned}$$
$T$ の固有値、固有ベクトルを求めよ。
$$\begin{aligned} T(ax^2+bx+c) &=a(x+1)^2+b(x+1)+c\\ &=ax^2+(2a+b)x+(a+b+c) \end{aligned}$$
基底を $B=\langle x^2,x,1\rangle$ と取れば、
$$\begin{aligned} T_B=\begin{pmatrix} 1&0&0\\ 2&1&0\\ 1&1&1\\ \end{pmatrix} \end{aligned}$$
であるから、
$$\begin{aligned} |T_B-\lambda E|= \begin{vmatrix} 1-\lambda&0&0\\ 2&1-\lambda&0\\ 1&1&1-\lambda\\ \end{vmatrix}=(1-\lambda)^3=0 \end{aligned}$$
$\therefore \lambda=1$
$$\begin{aligned} (T_B-E)\bm x=\begin{pmatrix} 0&0&0\\ 2&0&0\\ 1&1&0\\ \end{pmatrix}\begin{pmatrix} a\\b\\c \end{pmatrix}=\bm 0 \end{aligned}$$
$$\begin{aligned}a=b=0\end{aligned}$$
$c=s$ と置けば、
$$\begin{aligned} \begin{pmatrix} a\\b\\c \end{pmatrix}= s \begin{pmatrix} 0\\0\\1 \end{pmatrix} \end{aligned}$$
$\bm x_B=\begin{pmatrix}0\\0\\1\end{pmatrix}$ に対応するベクトルは $\bm x=0x^2+0x+1=1$
すなわち、固有値 $\lambda=1$、固有ベクトル $s\cdot 1$ が答えになる。
固有値問題を解くには適当な基底に対する表現を使うと便利だが、 答えを書くときには元の線形空間の元に直さなければならない。 基底の選び方には任意性があり、回答者が勝手に決めたものだからだ。
どのような基底を取って計算しても、元の空間に戻した際の答えは変わらない。
この問題では縮退度3の固有値 $\lambda=1$ に対して固有空間は1次元しかない。 これは行列で言えば対角化ができないケースに相当する。 一般の線形変換で言えば、全空間である $P^2[x]$ を固有空間の直和で表せないケースに相当する。
特殊な線形変換とその固有値問題†
正規直交基底に対する表現を考えることで、行列で学んだことをそのまま線形変換に生かせる。
以下では正規直交基底 $B$ を定めたとして進めよう。
準備:線形変換のエルミート共役†
行列 $A$ のエルミート共役 $A^\dagger=\overline{{}^t\!A}$ は、 任意の $\bm x,\bm y$ に対して
$$ (A\bm x,\bm y)=(\bm x,A^\dagger\bm y) $$
を満たすのだった。
そこで任意の線形変換 $T$ の $B$ に対する表現を $T_B$ とし、
そのエルミート共役 $T_B^\dagger=\overline{T^{t}}$ を求め、
それに対応する行列を $T^\dagger$ として
$T^\dagger$ は線形変換 $T$ のエルミート共役を定める。
この $T^\dagger$ は任意の $\bm x,\bm y$ に対して
$$ (T\bm x,\bm y)=(\bm x,T^\dagger\bm y) $$
を満たす。
上記の定義から、任意の $T$ に対してエルミート共役 $T^\dagger$ が存在することが分かる。
特殊な線形変換の固有値問題†
エルミート変換†
任意の $\bm x,\bm y$ に対して $(H\bm x,\bm y)=(\bm x,H\bm y)$ を満たす線形変換のこと。 この条件は $H^\dagger=H$ と書いても同値である。
エルミート変換の正規直交基底に対する表現行列はエルミート行列になる。 すなわち $H_B^\dagger=H_B$。
注:エルミート行列かつ実数行列である行列、実エルミート行列は対称行列になる
エルミート演算子の例†
射影演算子はエルミートである。
量子力学では、任意の観測可能な物理量は波動関数に対するエルミート演算子で表わされる。
エルミート変換の固有値は実数になる†
$H\bm x=\lambda x$ ただし $\bm x\ne \bm 0$ とすると、
$$\begin{aligned}(\bm x,H\bm x)=(H\bm x,\bm x)\end{aligned}$$
に対して、
$$\begin{aligned} &(\text{左辺})= \lambda(\bm x,\bm x)= \lambda|\bm x|^2\\ =&(\text{右辺})=\overline\lambda(\bm x,\bm x)=\overline\lambda|\bm x|^2\\ \end{aligned}$$
より、
$$\begin{aligned}(\lambda-\overline\lambda)|\bm x|^2=0\end{aligned}$$ $\bm x\ne 0$ だから、
$$\begin{aligned}\lambda=\overline\lambda\end{aligned}$$
すなわち、
$$\begin{aligned}\lambda\in\mathbb R\end{aligned}$$
エルミート変換の異なる固有値に属する固有ベクトルは直交する†
$H\bm x=\lambda\bm x$、$H\bm y=\lambda'\bm y$ ただし $\bm x\ne \bm 0,\bm y\ne\bm 0$ とすると、
$$\begin{aligned}(H\bm x,\bm y)=(\bm x, H\bm y)\end{aligned}$$
に対して、$\lambda\in\mathbb R$ すなわち $\overline\lambda=\lambda$ であるから、
$$\begin{aligned} &(\text{左辺})=(\lambda\bm x,\bm y)=\overline\lambda(\bm x,\bm y)=\lambda(\bm x,\bm y)\\ =\,&(\text{右辺})=(\bm x, \lambda'\bm y)=\lambda'(\bm x, \bm y) \end{aligned}$$
$$\begin{aligned} \therefore (\lambda-\lambda')(\bm x,\bm y)=0 \end{aligned}$$
したがって、 $\lambda\ne\lambda'$ ならば、 $(\bm x,\bm y)=0$ である。
ユニタリ変換†
ユニタリ変換: $(U\bm x,U\bm y)=(\bm x,\bm y)$ 内積を保存する変換のこと
この条件は $U^\dagger=U^{-1}$ と書いても同値。($U^{-1}$ は $U$ の逆変換)
ユニタリ変換の正規直交基底に対する表現行列はユニタリ行列になる
すなわち、$U_B^\dagger=U_B^{-1}$ ただし $B$ は正規直交基底
$(\text{左辺})=\bm x_B^\dagger U_B^\dagger U_B\bm y_B=\bm x_B^\dagger\bm y_B=(\text{右辺})$
$U_B^\dagger U_B=E_B$
注:ユニタリ行列かつ実行列な行列、すなわち実ユニタリ行列は直交行列である。
ユニタリ変換の例†
原点を中心とする回転および反転は、任意のベクトルの長さを保存するが、 そのような変換がユニタリ変換である。
任意の正規直交基底から、別の正規直交基底への基底の変換はユニタリ変換となる。
- ユニタリ行列の列ベクトルは正規直交系を為す
- ユニタリ行列の逆行列はユニタリ変換
- ユニタリ行列の積はユニタリ変換
などを使うと証明できる。
量子力学において、例えば時間を進める演算子=時間発展演算子はユニタリになる。
ユニタリ行列の列ベクトルは正規直交系を為す†
$U=\Big(\bm e_1\ \bm e_2\ \dots\ \bm e_n\Big)$ と置けば、
$$\begin{aligned} &U^{-1}U=U^\dagger U=\begin{pmatrix} \hspace{5mm}&\bm e_1^\dagger&\hspace{5mm}\\&\bm e_2^\dagger\\&\vdots\\&\bm e_n^\dagger \end{pmatrix}\Bigg(\bm e_1\ \bm e_2\ \dots\ \bm e_n\Bigg)= \begin{pmatrix} (\bm e_1,\bm e_1)&(\bm e_1,\bm e_2)&\cdots &(\bm e_1,\bm e_n)\\ (\bm e_2,\bm e_1)&(\bm e_2,\bm e_2)& &\vdots\\ \vdots & &\ddots &\vdots\\ (\bm e_n,\bm e_1)&\cdots &\cdots &(\bm e_n,\bm e_n)\\ \end{pmatrix}\\ &=E= \begin{pmatrix} \delta_{11}&\delta_{12}&\cdots &\delta_{1n}\\ \delta_{21}&\delta_{22}& &\vdots\\ \vdots & &\ddots &\vdots\\ \delta_{n1}&\cdots &\cdots &\delta_{nn}\\ \end{pmatrix} \end{aligned}$$
より、
$$ (\bm e_i,\bm e_j)=\delta_{ij} $$
同様に $UU^\dagger=E$ より行ベクトルも正規直交系を為すことを示せる。
ユニタリ変換の固有値の絶対値は1になる†
$U\bm x=\lambda\bm x$ ただし $\bm x\ne \bm 0$ とすると、
$$\begin{aligned} (U\bm x,U\bm x)=(\bm x,\bm x) \end{aligned}$$
に対して、
$$\begin{aligned} &(\text{左辺})=\lambda\overline\lambda(\bm x,\bm x)=|\lambda|^2|\bm x|^2\\ =\,&(\text{右辺})=|\bm x|^2\\ \end{aligned}$$
$$\begin{aligned}(|\lambda|^2-1)|\bm x|^2=0\end{aligned}$$
$\bm x\ne\bm 0$ であれば
$$\begin{aligned}|\lambda|=1\end{aligned}$$
絶対値が1の複素数はある実数 $\theta$ を用いて $e^{i\theta}$ と表せるから、
$$\begin{aligned}\lambda=e^{i\theta}\end{aligned}$$
と書けることになる。
ユニタリ変換の異なる固有値に属する固有ベクトルは直交する†
$U\bm x=\lambda\bm x$、$U\bm y=\lambda'\bm y$ ただし $\bm x\ne\bm 0,\bm y\ne\bm 0$ とすると、
$$\begin{aligned} (U\bm x,U\bm y)=(\bm x,\bm y) \end{aligned}$$
に対して、
$$\begin{aligned} &(\text{左辺})=(\lambda\bm x,\lambda'\bm y)=\overline\lambda\lambda'(\bm x,\bm y)\\ \end{aligned}$$
$$\begin{aligned} \therefore (\overline\lambda\lambda'-1)(\bm x,\bm y)=0 \end{aligned}$$
ここで、$|\lambda|=1$ より $\lambda=e^{i\theta}$ と置けば、
$$\begin{aligned}\overline\lambda=e^{-i\theta}=\frac{1}{e^{i\theta}}=\frac{1}{\lambda}\end{aligned}$$
$$\begin{aligned}\overline\lambda\lambda'-1=\frac{\lambda'}{\lambda}-1=\frac{\lambda'-\lambda}{\lambda}\end{aligned}$$
この値は $\lambda\ne\lambda'$ のときゼロにならないから、
$$\begin{aligned}(\bm x,\bm y)=0\end{aligned}$$
※もちろん $|\lambda|^2=\overline{\lambda}\lambda=1$ から直接 $\overline{\lambda}=1/\lambda$ としても良いが、 上記の説明の方がその意味がよく分かるはず。
例†
ユニタリ行列
$A=\begin{pmatrix}\cos\theta&-\sin\theta\\\sin\theta&\cos\theta\\\end{pmatrix}$ について上記を確かめよ。
演習†
- エルミート行列の和はエルミート行列になること
- ユニタリ行列の積はユニタリ行列になること
- エルミート行列の積が必ずしもエルミート行列にはならないこと
- ユニタリ行列の和が必ずしもユニタリ行列にはならないこと
を証明せよ。解答はこちら > 線形代数II/固有値問題・固有空間・スペクトル分解/メモ
正規行列†
エルミート行列がユニタリ行列で対角化可能であることは1年生で学んだ。 上記のようにユニタリ行列の固有ベクトルも互いに直交するため、 ユニタリ行列もユニタリ行列で対角化できる。
このように、ユニタリ行列 $U^\dagger=U^{-1}$ で対角化可能な行列のことを正規行列と呼ぶ。
正規行列であるかどうかは、 $A^\dagger A=AA^\dagger$ を満たすかどうかで判別可能である。
※証明は 線形代数II/正規行列の対角化可能性 を参照。
エルミート行列では $H^\dagger H=H^2=HH^\dagger$
ユニタリ行列では $U^\dagger U=E=UU^\dagger$
で、確かにどちらも正規行列になっている。
正規行列の固有ベクトル†
対角化 $P^{-1}AP=\Lambda$ に用いる行列 $P$ の列ベクトルはすべて固有ベクトルであった。
したがって、ユニタリ行列で対角化可能ということは、 固有ベクトルにより正規直交系($n$ 本あるため正規直交基底) を作れることと同値である。
結果的に、正規行列の異なる固有値に属する固有ベクトルは直交する。
証明はこちら→ 線形代数II/正規行列の異なる固有値に属する固有ベクトルは直交する
一般の変換では†
異なる固有値に属する固有ベクトルは必ずしも直交はしないが、少なくとも一次独立ではある。
すなわち、$A\bm x_k=\lambda_k \bm x_k$ ただし $k=1\sim r$ かつ、 すべての $\lambda_k$ が互いに異なるとき、$\bm x_1,\bm x_2,\dots,\bm x_r$ は一次独立である。
証明は一年生の時にやった。→ 線形代数I/固有値と固有ベクトル#o23f59a7
固有空間†
ある固有値 $\lambda$ に属する固有ベクトルの集合は部分空間 $V(\lambda)=\{\,\bm x\,|\,A\bm x=\lambda\bm x\,\}$ を作る。
$\because \bm x,\bm y\in V(\lambda)$ すなわち $A\bm x=\lambda\bm x,A\bm y=\lambda\bm y$ ならば、$A(a\bm x+b\bm y)=\lambda(a\bm x+b\bm y)$ すなわち $a\bm x+b\bm y\in V(\lambda)$ であるから、$V(\lambda)$ はベクトルの和とスカラー倍に対して閉じている。
厳密には、固有ベクトルの集合にゼロベクトル $\bm 0$ を加えた集合が部分空間になる
この部分空間 $V(\lambda)$ を $A$ の $\lambda$ に属する固有空間と呼ぶ。
固有値 $\lambda$ に属する固有ベクトルの一般解が $r$ コの一次独立なベクトル $\bm x_1,\bm x_2,\dots,\bm x_r$ を用いて
$$\begin{aligned}\bm x=c_1\bm x_1+c_2\bm x_2+\dots+c_r\bm x_r\end{aligned}$$
と書かれるならば、$\bm x_1,\bm x_2,\dots,\bm x_r$ は $V(\lambda)$ の基底となるから、$\dim V(\lambda)=r$ である。
異なる固有値に属する固有空間はゼロでのみ重なる†
あるベクトル $\bm x$ が2つの固有空間の交わり $V(\lambda)\cap V(\lambda')$ に含まれるとすると、
$$\begin{aligned}A\bm x=\lambda\bm x=\lambda'\bm x\end{aligned}$$
$$\begin{aligned}(\lambda-\lambda')\bm x=\bm 0\end{aligned}$$
したがって、$\lambda\ne\lambda'$ であるなら $\bm x=\bm 0$ である。
これは、$\lambda\ne\lambda'$ であるなら $V(\lambda)\cap V(\lambda')=\{\,\bm 0\,\}$ となることを表している。
対角化可能な場合†
$P^{-1}AP=\Lambda$ の $P$ の $n$ 個の列ベクトルは、 固有空間 $V(\lambda_1),V(\lambda_2),\dots,V(\lambda_m)$ の基底を並べた物である。
さらに、この $n$ 本のベクトルは一次独立であるから $K^n$ の基底となる。
部分空間 $V(\lambda_1),V(\lambda_2),\dots,V(\lambda_m)$ の基底を 合わせた物が全体空間 $K^n$ の基底となるから、
$$\begin{aligned}K^n=V(\lambda_1)\,\dot +\,V(\lambda_2)\,\dot +\,\dots\,\dot +\,V(\lambda_m)\end{aligned}$$
このとき任意の $\bm x\in K^n$ は $\bm x_1\in V(\lambda_1),\bm x_2\in V(\lambda_2),\dots,\bm x_m\in V(\lambda_m)$ を用いて
$$\begin{aligned}\bm x=\bm x_1+\bm x_2+\dots+\bm x_m\end{aligned}$$
のように一意に分解できて、
$$\begin{aligned}A\bm x=\lambda_1\bm x_1+\lambda_2\bm x_2+\dots+\lambda_m\bm x_m\end{aligned}$$
となる。
すなわち $\bm x$ に $A$ を掛けることは、
$\begin{aligned}\bm x\end{aligned}$ の $V(\lambda_1)$ 成分を $\lambda_1$ 倍して、
$\begin{aligned}\bm x\end{aligned}$ の $V(\lambda_2)$ 成分を $\lambda_2$ 倍して、
・・・
最後にまた足し合わせるのと同じである。
もっと一般に、
$$\begin{aligned}A^n\bm x=\lambda_1^n\bm x_1+\lambda_2^n\bm x_2+\dots+\lambda_m^n\bm x_m\end{aligned}$$
が成り立つこともすぐに分かる。
スペクトル分解†
射影演算子:$P_{V(\lambda_k)}:\bm x\to\bm x_k$
を導入すれば、上記の対角化可能な場合の式は、
$$\begin{aligned}\bm x=\sum_k\underbrace{P_{V(\lambda_k)}\bm x}_{\bm x_k}\end{aligned}$$
$$\begin{aligned}A\bm x=\sum_k\lambda_kP_{V(\lambda_k)}\bm x\end{aligned}$$
$$\begin{aligned}A^n\bm x=\sum_k\lambda_k^nP_{V(\lambda_k)}\bm x\end{aligned}$$
となる。右辺と左辺とを比べれば、これらはそれぞれ、
$$\begin{aligned}E=\sum_kP_{V(\lambda_k)}\end{aligned}$$
$$\begin{aligned}A=\sum_k\lambda_kP_{V(\lambda_k)}\end{aligned}$$
$$\begin{aligned}A^n=\sum_k\lambda_k^nP_{V(\lambda_k)}\end{aligned}$$
の関係を表している事が分かる。
特に2番目の式は、対角化可能な行列を固有空間への射影と固有値のかけ算の和に分解できることを表しており、 この右辺を行列 $A$ の「スペクトル分解」と呼ぶ。
1番目と2番目の式は、3番目の式の $n=0,1$ の場合と考えることもできる。
ユニタリ行列で対角化可能な場合(正規行列の場合)†
ユニタリ行列 $U$ に対して ${}^tUAU=\Lambda$ が対角形になるとき、 $U$ の列ベクトルは $A$ の固有ベクトルであり、 ユニタリ行列の列ベクトルは正規直交系をなすから、
$$\begin{aligned} U=\Bigg(\underbrace{\underbrace{\bm e_1\ \bm e_2}_{V(\lambda_1)}\underbrace{\ \bm e_3\ }_{V(\lambda_2)} \underbrace{\bm e_4\ \bm e_5\ \bm e_6}_{V(\lambda_3)}\ \dots\ \bm e_n}_\text{全体空間の正規直交基底}\Bigg) \end{aligned}$$
などというように、それぞれの列ベクトルは対応する固有空間の正規直交基底となり、 それら全体を集めたものが全体空間の正規直交基底となる。
これは、全空間が固有空間の直交直和になることに対応している。
$$\begin{aligned}V=V(\lambda_1)\oplus V(\lambda_2)\oplus \dots\oplus V(\lambda_m)\end{aligned}$$
このとき、射影演算子 $P_{V(\lambda_k)}$ は基底ベクトルを使って簡単に求めることができ、
$$\begin{aligned}P_{V(\lambda_1)}=\bm e_1\bm e_1^\dagger+\bm e_2\bm e_2^\dagger\end{aligned}$$
$$\begin{aligned}P_{V(\lambda_2)}=\bm e_3\bm e_3^\dagger\end{aligned}$$
$$\begin{aligned}P_{V(\lambda_3)}=\bm e_4\bm e_4^\dagger+\bm e_5\bm e_5^\dagger+\bm e_6\bm e_6^\dagger\end{aligned}$$
・・・
などと表せる。
例題†
$A=\begin{pmatrix}1&0&0&0\\0&3&2&-1\\0&2&0&2\\0&-1&2&3\end{pmatrix}$ を以下の手順でスペクトル分解せよ。
(1) 固有値を求め、小さい方から $\lambda_1,\lambda_2,\lambda_3,\dots$ とせよ。
(2) 対応する固有ベクトルを求めよ
(3) 固有ベクトルを正規直交化して、ユニタリ行列により $A$ を対角化せよ。
(4) それぞれの固有値に対応する固有空間 $V(\lambda_k)$ への射影行列 $P_{V(\lambda_k)}$ を求めよ。
(5) $\sum_k P_{V(\lambda_k)}=E$ を確かめよ。($E$ は単位行列である)
(6) $A$ をスペクトル分解せよ。
解答 (1)†
実対称行列すなわちエルミート行列であるから、 固有値は必ず実数になる。
$$\begin{aligned} &|A-\lambda E| =\begin{vmatrix} 1-\lambda&0&0&0\\ 0&3-\lambda&2&-1\\ 0&2&-\lambda&2\\ 0&-1&2&3-\lambda \end{vmatrix}\\ &=(1-\lambda)\begin{vmatrix} 3-\lambda&2&-1\\ 2&-\lambda&2\\ {}-1&2&3-\lambda \end{vmatrix}\ \ \leftarrow(1,1)\text{成分を使った次数の低下}\\ &=(1-\lambda)\begin{vmatrix} 4-\lambda&0&-4+\lambda\\ 2&-\lambda&2\\ {}-1&2&3-\lambda \end{vmatrix}\ \ \ \ \leftarrow \text{1行目から3行目を引いた}\\ &=(1-\lambda)(4-\lambda)\begin{vmatrix} 1&0&-1\\ 2&-\lambda&2\\ {}-1&2&3-\lambda \end{vmatrix}\ \ \ \ \leftarrow \text{1行目の因子}\ (4-\lambda)\ \text{を前に出した}\\ &=(1-\lambda)(4-\lambda)\begin{vmatrix} 1&0&0\\ 2&-\lambda&4\\ {}-1&2&2-\lambda \end{vmatrix}\ \ \ \ \leftarrow \text{1列目を3列目に足した}\\ &=(1-\lambda)(4-\lambda)\big[-\lambda(2-\lambda)-4\cdot 2\big]\\ &=(1-\lambda)(4-\lambda)(-8-2\lambda+\lambda)\\ &=(1-\lambda)(4-\lambda)(-2-\lambda)(4-\lambda)\\ &=(-2-\lambda)(1-\lambda)(4-\lambda)^2\\ \end{aligned}$$
したがって、$\lambda_1=-2,\lambda_2=1,\lambda_3=4\ (\text{二重})$
解答 (2):$\lambda_1$ について†
$$\begin{aligned} (A-\lambda_1 E)\bm x=\begin{pmatrix} 3&0&0&0\\ 0&5&2&-1\\ 0&2&2&2\\ 0&-1&2&5 \end{pmatrix}\begin{pmatrix} x\\y\\z\\w \end{pmatrix}=\bm 0 \end{aligned}$$
に対して、係数行列を同値変形すれば、
$$\begin{aligned} \sim\begin{pmatrix} 1&0&0&0\\ 0&1&1&1\\ 0&5&2&-1\\ 0&-1&2&5\\ \end{pmatrix} \sim\begin{pmatrix} 1&0&0&0\\ 0&1&1&1\\ 0&0&-3&-6\\ 0&0&3&6\\ \end{pmatrix} \sim\begin{pmatrix} 1&0&0&0\\ 0&1&1&1\\ 0&0&1&2\\ 0&0&0&0\\ \end{pmatrix} \sim\begin{pmatrix} 1&0&0&0\\ 0&1&0&-1\\ 0&0&1&2\\ 0&0&0&0\\ \end{pmatrix} \end{aligned}$$
すなわち、 $ \begin{cases} x=0\\ y-w=0\\ z+2w=0\\ 0=0 \end{cases} $ が成り立つ。
掃出せなかった $w$ をパラメータとすれば、 $ \bm x=w\begin{pmatrix} 0\\1\\-2\\1 \end{pmatrix} $ が固有ベクトルの一般形である。
したがって、固有空間 $V(-2)$ は1次元で、基底は $\bm b_1=\begin{pmatrix} 0\\1\\-2\\1 \end{pmatrix}$
$\bm b_1$ が元の方程式の解になっていること、つまり $(A-\lambda_1E)\bm b_1=\bm 0$ を確かめれば検算になる。
解答 (2):$\lambda_2$ について†
$$ (A-\lambda_2 E)\bm x=\begin{pmatrix} 0&0&0&0\\ 0&2&2&-1\\ 0&2&-1&2\\ 0&-1&2&2 \end{pmatrix}\begin{pmatrix} x\\y\\z\\w \end{pmatrix}=\bm 0\\ $$
について、係数行列を同値変形すれば、
$$ \sim\begin{pmatrix} 0&0&0&0\\ 0&1&-2&-2\\ 0&2&2&-1\\ 0&2&-1&2\\ \end{pmatrix} \sim\begin{pmatrix} 0&0&0&0\\ 0&1&-2&-2\\ 0&0&6&3\\ 0&0&3&6\\ \end{pmatrix} \sim\begin{pmatrix} 0&0&0&0\\ 0&1&-2&-2\\ 0&0&1&2\\ 0&0&2&1\\ \end{pmatrix} \sim\begin{pmatrix} 0&0&0&0\\ 0&1&0&2\\ 0&0&1&2\\ 0&0&0&-3\\ \end{pmatrix}\sim\begin{pmatrix} 0&0&0&0\\ 0&1&0&0\\ 0&0&1&0\\ 0&0&0&1\\ \end{pmatrix} $$
すなわち、 $ \begin{cases} 0=0\\ y=0\\ z=0\\ w=0\\ \end{cases} $ が成り立つ。
掃出せなかった $x$ をパラメータとすれば、 $\bm x=x\begin{pmatrix} 1\\0\\0\\0\end{pmatrix}$ が固有ベクトルの一般形である。
したがって、固有空間 $V(1)$ は1次元で、基底は $\bm b_2=\begin{pmatrix} 1\\0\\0\\0\end{pmatrix}$
$\bm b_2$ が元の方程式の解になっていること、 つまり $(A-\lambda_2E)\bm b_2=\bm 0$ を確かめれば検算になる。
解答 (2):$\lambda_3$ について†
$$ (A-\lambda_3 E)\bm x=\begin{pmatrix} {}-3&0&0&0\\ 0&-1&2&-1\\ 0&2&-4&2\\ 0&-1&2&-1 \end{pmatrix}\begin{pmatrix} x\\y\\z\\w \end{pmatrix}=\bm 0\\ $$
について、係数行列を同値変形すれば、 $ \sim\begin{pmatrix} 1&0&0&0\\ 0&1&-2&1\\ 0&0&0&0\\ 0&0&0&0 \end{pmatrix} $
したがって、 $ \begin{cases} x=0\\ y-2z+w=0\\ 0=0\\ 0=0\\ \end{cases} $ が成り立つ。
掃出せなかった $z,w$ をパラメータとすれば、 $\bm x=z\begin{pmatrix} 0\\2\\1\\0 \end{pmatrix}+w\begin{pmatrix} 0\\-1\\0\\1 \end{pmatrix} $ が固有ベクトルの一般形である。
したがって、固有空間 $V(4)$ は2次元で、基底は $\bm b_3=\begin{pmatrix} 0\\2\\1\\0\end{pmatrix}, \bm b_4=\begin{pmatrix} 0\\-1\\0\\1\end{pmatrix}$
$\bm b_3,\bm b_4$ が元の方程式の解になっていること、 すなわち $(A-\lambda_3E)\bm b_3=\bm 0,\,$ $(A-\lambda_3E)\bm b_4=\bm 0$ を確かめれば検算になる。
解答 (2):まとめ†
$$ \bm b_1=\begin{pmatrix} 0\\2\\1\\0\end{pmatrix}\ \in V(-2),\ {} \bm b_1=\begin{pmatrix} 1\\0\\0\\0\end{pmatrix}\ \in V(1),\ {} \bm b_3=\begin{pmatrix} 0\\2\\1\\0\end{pmatrix}, \bm b_4=\begin{pmatrix} 0\\-1\\0\\1\end{pmatrix}\ \in V(4) $$
重複度1である $\lambda_1=-2,\ \lambda_2=1$ が1次元、
重複度2である $\lambda_3=4$ が2次元になっていることに注意せよ。
解答 (3)†
ここでは $A$ が正規行列であるため、 異なる固有値に属する固有ベクトルは直交する。
すなわち、
$$\begin{aligned} &\bm b_1\perp\bm b_2,\\ &\bm b_1\perp\bm b_3,\bm b_1\perp\bm b_4,\\ &\bm b_2\perp\bm b_3,\bm b_2\perp\bm b_4\\ \end{aligned}$$
は自動的に成り立つが、同じ固有値に対する固有ベクトルが直交するとは限らない。
つまり、$\bm b_3\perp\bm b_4$ とは限らない。
実際、
$$\begin{aligned} \big(\bm b_3,\bm b_4\big)=\bm b_3^\dagger\bm b_4=\begin{pmatrix} 0&&2&&1&&0 \end{pmatrix}\begin{pmatrix} 0\\-1\\0\\1 \end{pmatrix} =-2\ne 0 \end{aligned}$$
となり、$\bm b_3\not\perp\bm b_4$ であることが確かめられる。
しかし、$\bm b_3,\bm b_4$ は一次独立であるため、 これら2つのベクトルに対してシュミットの直交化を適用し、 正規直交系を作ることはいつでも可能である。 $V(4)$ は線形空間で、和とスカラー倍に対して閉じているから、 シュミットの直交化によって得られるベクトルも、 やはり固有値 $4$ の固有ベクトルであることに注意せよ。
もちろん、直交するベクトル群を他の方法で見つけることができるならば 必ずしもシュミットの直交化を使う必要はない。
例えば $\bm b_3'=\bm b_3+\bm b_4=\begin{pmatrix} 0\\1\\1\\1 \end{pmatrix}$ は、$\bm b_3'\in V(4)$ かつ $\bm b_3'\perp\bm b_4$ を満たす。
したがって、$\bm b_1,\bm b_2,\bm b_3',\bm b_4$ はすべて互いに直交する。
そこで、これらを正規化して、
$$\begin{aligned} \bm e_1=\frac{1}{\sqrt 6}\begin{pmatrix} 0\\1\\-2\\1 \end{pmatrix},\ {} \bm e_2=\begin{pmatrix} 1\\0\\0\\0 \end{pmatrix},\ {} \bm e_3=\frac{1}{\sqrt 3}\begin{pmatrix} 0\\1\\1\\1 \end{pmatrix},\ {} \bm e_4=\frac{1}{\sqrt 2}\begin{pmatrix} 0\\-1\\0\\1 \end{pmatrix} \end{aligned}$$
として、正規直交基底 $\set{\bm e_1,\bm e_2,\bm e_3,\bm e_4}$ が得られる。
$A$ を対角化するユニタリ行列は、
$$\begin{aligned}U=\big(\bm e_1\ \ \bm e_2\ \ \bm e_3\ \ \bm e_4\big)=\begin{pmatrix} 0&1&0&0\\ 1/\sqrt 6&0&1/\sqrt 3&-1/\sqrt 2\\ {}-2/\sqrt 6&0&1/\sqrt 3&0\\ 1/\sqrt 6&0&1/\sqrt 3&1/\sqrt 2\\ \end{pmatrix}\end{aligned}$$
であり、
$$\begin{aligned}U^\dagger AU=\begin{pmatrix} {}-2&&&\\ &1&&\\ &&4&\\ &&&4 \end{pmatrix}\end{aligned}$$
として対角化できる。
解答 (4)†
$$\begin{aligned} P_{V(-2)}=\bm e_1\bm e_1^\dagger= \frac{1}{6}\begin{pmatrix} 0\\1\\-2\\1 \end{pmatrix}\begin{pmatrix} 0&1&-2&1 \end{pmatrix} =\frac{1}{6}\begin{pmatrix} 0&0&0&0\\ 0&1&-2&1\\ 0&-2&4&-2\\ 0&1&-2&1 \end{pmatrix} \end{aligned}$$
$$\begin{aligned} P_{V(1)}=\bm e_2\bm e_2^\dagger= \begin{pmatrix} 1\\0\\0\\0 \end{pmatrix}\begin{pmatrix} 1&0&0&0 \end{pmatrix}= \begin{pmatrix} 1&0&0&0\\ 0&0&0&0\\ 0&0&0&0\\ 0&0&0&0\\ \end{pmatrix} \end{aligned}$$
$$\begin{aligned} P_{V(4)}&=\bm e_3\bm e_3^\dagger+\bm e_4\bm e_4^\dagger= \frac{1}{3}\begin{pmatrix} 0\\1\\1\\1 \end{pmatrix}\begin{pmatrix} 0&1&1&1\\ \end{pmatrix}+\frac{1}{2}\begin{pmatrix} 0\\-1\\0\\1 \end{pmatrix}\begin{pmatrix} 0&-1&0&1\\ \end{pmatrix}\\&= \frac{1}{3}\begin{pmatrix} 0&0&0&0\\ 0&1&1&1\\ 0&1&1&1\\ 0&1&1&1\\ \end{pmatrix}+ \frac{1}{2}\begin{pmatrix} 0&0&0&0\\ 0&1&0&-1\\ 0&0&0&0\\ 0&-1&0&1\\ \end{pmatrix}= \frac{1}{6}\begin{pmatrix} 0&0&0&0\\ 0&5&2&-1\\ 0&2&2&2\\ 0&-1&2&5\\ \end{pmatrix} \end{aligned}$$
解答 (5)†
$$\begin{aligned} &P_{V(-2)}+P_{V(1)}+P_{V(4)}=\\ &\frac{1}{6}\begin{pmatrix} 0&0&0&0\\ 0&1&-2&1\\ 0&-2&4&-2\\ 0&1&-2&1 \end{pmatrix}+ \begin{pmatrix} 1&0&0&0\\ 0&0&0&0\\ 0&0&0&0\\ 0&0&0&0\\ \end{pmatrix}+ \frac{1}{6}\begin{pmatrix} 0&0&0&0\\ 0&5&2&-1\\ 0&2&2&2\\ 0&-1&2&5\\ \end{pmatrix} =\begin{pmatrix} 1&0&0&0\\ 0&1&0&0\\ 0&0&1&0\\ 0&0&0&1\\ \end{pmatrix} \end{aligned}$$
解答 (6)†
スペクトル分解は、
$$\begin{aligned} A&=-2\cdot P_{V(-2)}+1\cdot P_{V(1)}+4\cdot P_{V(4)}\\ &= {}-2\cdot\frac{1}{6}\begin{pmatrix} 0&0&0&0\\ 0&1&-2&1\\ 0&-2&4&-2\\ 0&1&-2&1 \end{pmatrix}+ 1\cdot\begin{pmatrix} 1&0&0&0\\ 0&0&0&0\\ 0&0&0&0\\ 0&0&0&0\\ \end{pmatrix}+ 4\cdot\frac{1}{6}\begin{pmatrix} 0&0&0&0\\ 0&5&2&-1\\ 0&2&2&2\\ 0&-1&2&5\\ \end{pmatrix} \end{aligned}$$
である。
検算してみると以下のようになって、確かに等号が成立することを確認できるが、 「スペクトル分解」はあくまでも固有値と射影演算子の積の和の形であるから、 かけ算を実行してまぜこぜにする前の形で解答を書かねばならない。
$$\begin{aligned} (右辺)&= {}-\frac{1}{3}\begin{pmatrix} {}-3&0&0&0\\ 0&1&-2&1\\ 0&-2&4&-2\\ 0&1&-2&1 \end{pmatrix}+ \frac{2}{3}\begin{pmatrix} 0&0&0&0\\ 0&5&2&-1\\ 0&2&2&2\\ 0&-1&2&5\\ \end{pmatrix}\\ &=\frac{1}{3}\begin{pmatrix} 3&0&0&0\\ 0&-1+10&2+4&-1-2\\ 0&2+4&-4+4&2+4\\ 0&-1-2&2+4&-1+10 \end{pmatrix}\\ &=\frac{1}{3}\begin{pmatrix} 3&0&0&0\\ 0&9&6&-3\\ 0&6&0&6\\ 0&-3&6&9 \end{pmatrix}= \begin{pmatrix} 1&0&0&0\\ 0&3&2&-1\\ 0&2&0&2\\ 0&-1&2&3 \end{pmatrix}=A \end{aligned}$$
質問・コメント†
固有値に関して†
[Math] (2014-01-29 (水) 22:40:17)
初めまして。
私は現在大学にてパターン認識を学び、研究している学生です。
固有値に関して質問があります。
固有値は工学的な応用の際に重要な役割があると伺いました。
例えばパターン認識において部分空間法では次元の削減のために固有ベクトルを求め、固有値の大きい方からベクトルをピックアップし、任意の次元に削減します。
このとき固有値の大きいほど重要な特徴ベクトルであるとされるため、このような操作をするようなのですが、なぜ固有値が大きいほど重要な特徴ベクトルであると言えるのでしょうか?
線形代数初学者のため無知な質問かもしれませんが、どうかよろしくお願いいたします。
- 固有ベクトルに対しては「行列とのかけ算の結果」を「固有値によるスカラー倍」により求められるわけですので、固有値がほぼゼロとなるような特徴ベクトルと行列とをかけ算すればその結果はゼロに近くなり、無視して良いことになります。逆に固有値が大きければその特徴ベクトルは行列とのかけ算の後も大きな値を持つことになりますので、無視できない、すなわち重要なベクトルであると考えられるのではないでしょうか? -- [武内(管理人)]
≠が=/というふうに斜めの線の位置がズレている†
[we] (2019-07-17 (水) 00:22:31)
記事の内容に関係なくて申し訳ないのですが、iPhoneで見てると≠が=/というふうに斜めの線の位置がズレていて誤解する人がいそうです。。
- ≠がずれないよう修正しました。ご指摘ありがとうございました。 -- 武内(管理人)