射影・直和・直交直和 の履歴(No.14)

更新

前の単元 ＜＜＜ 　　　　　　　　　　　　　　　線形代数II 　　　　　　　　　　　　　　　＞＞＞ 次の単元

ベクトルの成分†

規格化されたベクトル \bm e に対して、ベクトル \bm x を

  • \bm e に平行な成分 \bm x_{\parallel}=x_\parallel \bm e と、
  • \bm e に垂直な成分 \bm x_{\perp} とに分け、

\bm x=\bm x_{\parallel}+\bm x_{\perp}=x_\parallel \bm e+\bm x_{\perp} としたい。

成分分解.png

両辺に左から \bm e をかければ、

(\bm e,\bm x)=x_{\parallel}(\bm e,\bm e)+(\bm e,\bm x{\perp})=x_{\parallel}

が得られ、

\bm x_{\parallel}=(\bm e,\bm x)\bm e
\bm x_{\perp}=\bm x-\bm x_\parallel=\bm x-(\bm e,\bm x)\bm e

としてこれらのベクトルを求められる。
（同じことをグラム・シュミットの直交化で行った）

この \bm x_\parallel を \bm x の \bm e 方向成分と呼ぶ。

注意１†

当然 \bm e は規格化されていなければならない。

一般のベクトル \bm v 方向成分であれば、

\bm x_{\parallel}=(\frac{\bm v}{\|\bm v\|},\bm x)\,\frac{\bm v}{\|\bm v\|}=\frac{(\bm v,\bm x)}{\|\bm v\|^2}\bm v

注意２†

複素ベクトルに対しては (\bm x,\bm e)\ne(\bm e,\bm x) なので、 どちらから掛けるかが重要である。

(\bm e,\bm x)=(\bm e,x_\parallel \bm e)=x_{\parallel} だが、
(\bm x,\bm e)=(x_\parallel \bm e,\bm e)=\overline{x_{\parallel}} となってしまう。

注意３†

この授業では (\bm a,k\bm b)=k(\bm a,\bm b) となる内積の公理を採用しているため 上記が正しいが、

多くの教科書では (k\bm a,\bm b)=k(\bm a,\bm b) を採用しているため、 そのような公理系では逆から掛ける必要がある。

射影演算子†

&math( \bm x_{\parallel}&=(\bm e,\bm x)\bm e );

は 「数」×「ベクトル」 で、「ベクトルのスカラー倍」 として任意の線形空間において正しい形であるが、

数ベクトル空間においてはこれを入れ替えると、

&math( \bm x_{\parallel}=\bm e(\bm e,\bm x) );

「ｎ×１行列」×「１×１行列」で、行列のかけ算として正しい形になる。 （スカラーと１×１行列を同一視するのは１年生で学んだとおり）

さらに内積を行列の積で表わすと、

&math( \bm x_{\parallel}&=\bm e \{\bm e^\dagger \bm x\}\\ &=\bm e \bm e^\dagger \bm x\\ &=P_{\bm e} \bm x );

ただし、 P_{\bm e}=\bm e\bm e^\dagger である。

この行列は \bm x から \bm e 方向成分を取り出す行列であり、 「 \bm e 軸への射影演算子」と呼ばれる。

実際の形は、

&math( P_{\bm e}&=\bm e\bm e^\dagger= \begin{pmatrix} e_1\\e_2\\\vdots\\e_n \end{pmatrix} \begin{pmatrix} \overline{ e_1}&\overline{ e_2}&\dots&\overline{ e_n} \end{pmatrix}\\ &=\begin{pmatrix} e_1\overline{e_1}&e_1\overline{e_2}&\cdots&e_1\overline{e_n}\\ e_2\overline{e_1}&e_2\overline{e_2}&&\vdots\\ \vdots&&\ddots&\vdots\\ e_n\overline{e_1}&\cdots&\cdots&e_n\overline{e_n} \end{pmatrix} );

のように n\times n 行列になる。

射影.png

\bm e に垂直な光を \bm x に当てたとき、 \bm e 軸上にできる影が \bm x_\parallel であるという気持ちが込められている → 「射影」

射影演算子はエルミート行列になる。†

上記の「具体的な形」を見て分かるとおり、

\big(P_{\bm e}\big)_{ij}=e_j \overline{e_i}

\big(P_{\bm e}\big)_{ji}=e_i \overline{e_j}=\overline{(e_j \overline{e_i})}

より、 \big(P_{\bm e}\big)_{ji}=\overline{\big(P_{\bm e}\big)_{ij}} であり、 射影演算子はエルミートであることが分かる。

以下、あるベクトルを「成分」に分ける話を一般化する。

復習１：線形空間†

線形空間とは、ベクトルの和とスカラー倍について閉じた集合のことだった。

  • 任意の \bm x,\bm y\in V に対して、必ず \bm x+\bm y\in V
  • 任意の \bm x\in V,k\in K に対して、必ず k\bm x\in V

復習２：部分空間†

線形空間の部分集合 W\subset V がベクトルの和とスカラー倍について閉じている場合、 W も線形空間となり、 W は V の部分空間であるという。

\mathbb R^3 の部分空間：

  • ０次元の部分空間は原点のみからなる集合 \set{\bm 0}
  • １次元の部分空間は原点を通る直線　　　 \set{\bm p=s\bm a|s\in K}
  • ２次元の部分空間は原点を通る平面　　　 \set{\bm p=s\bm a+t\bm b|s,t\in K}
  • ３次元の部分空間は \mathbb R^3 そのもの

同じ直線的でも、原点を通らない \set{\bm p=s\bm a+\bm b|s\in K} は線形空間にならない。（和やスカラー倍が元の集合からはみ出す）

復習３：集合の積と和†

集合 A と集合 B の積と和は、

積（交わり）
A\cap B=\set{x|x\in A\,\mathrm{かつ}\,x\in B}
A および B の両方に含まれる要素の集合
和（結び）
A\cup B=\set{x|x\in A\,\mathrm{または}\,x\in B}
A あるいは B の少なくとも片方に含まれる要素の集合
積集合和集合.png

記号の覚え方：

  • 「 x\in A\,\mathrm{かつ}\,x\in B 」は英語では「 x\in A\,\mathrm{and}\,x\in B 」
  • And の A と \cap とは似ている（でしょ？）

交空間†

２つの部分空間 W_1,W_2 の交わり W_1\cap W_2 は無条件で線形空間となり、 交空間と呼ばれる。

練習：部分空間の積（交わり）がベクトルの和とスカラー倍について閉じていることを示せ。

和集合は線形空間にならない†

File not found: "ベクトルの成分１.png" at page "線形代数II/射影・直和・直交直和"[添付]

２つの１次元部分空間 W_1,W_2 の和集合 W_1\cup W_2 は、原点を通る２本の直線を合わせた集合。

この集合から２つのベクトルを取って和を作ると、集合から「はみ出してしまう」。

和空間†

和集合を含む最小の線形空間を和空間 W_1+W_2 と呼ぶ

W_1+W_2=\set{\bm x=\bm x_1+\bm x_2|\bm x_1\in W_1,\bm x_2\in W_2} 　となる。

和空間は $W_1,W_2$ の基底ベクトルを合わせたベクトルで張られる†

W_1,W_2 の基底を B_1=\set{\bm b_{11},\bm b_{12},\dots,\bm b_{1m}} B_2=\set{\bm b_{21},\bm b_{22},\dots,\bm b_{2n}} とする。

\bm x=\bm x_1+\bm x_2 ただし \bm x_1\in W_1,\bm x_2\in W_2 のとき、

\bm x=\sum_{k=1}^m x_{1k}\bm b_{1k}+\sum_{k=1}^m x_{2k}\bm b_{2k}

であり、任意の \bm x\in W_1+W_2 を、 W_1 と W_2 の基底を合わせたベクトルの一次結合で表せることが分かる。

和空間の次元†

W_1,W_2 の基底 B_1,B_2 を合わせたベクトルが一次独立であれば

\dim (W_1+W_2)=\dim W_1+\dim W_2

となるが、一般には２つの空間の交わりがゼロにはならないため、

\dim (W_1+W_2)<\dim W_1+\dim W_2

となる。より正確には、

\dim (W_1+W_2)=\dim W_1+\dim W_2-\dim(W_1\cap W_2)

である。

例：３次元空間に原点を通る２枚の平面 W_1,W_2 を考えると、これらはそれぞれ部分空間となる。 ２枚が平行ではない場合、これらの和空間 W_1+W_2 は３次元空間全体であり、原点を通る交線が交空間 W_1\cap W_2 である。このとき、

&math( \underbrace{\dim(W_1+W_2)}_3=\underbrace{\dim W_1}_2+\underbrace{\dim W_2}_2-\underbrace{\dim(W_1\cap W_2)}_1 );

直和†

W_1,W_2 の基底を合わせると W_1+W_2 の基底となる時、 すなわち W_1 と W_2 の基底を合わせたベクトルが一次独立であるとき、

W_1+W_2=W_1\dot +W_2

と書き、 W_1\dot +W_2 を W_1 と W_2 の直和という。

成分分解†

そのようにして作った W_1\dot +W_2 の基底を B=\langle\bm b_1,\bm b_2,\dots,\bm b_n\rangle とすると、

&math( \bm x&=\underbrace{x_1\bm b_1+x_2\bm b_2+\cdots}_{\bm x_1\in W_1} \underbrace{\cdots+x_n\bm b_n}_{\bm x_2\in W_2}\\ &=\bm x_1+\bm x_2 );

のように、任意の \bm x\in W_1\dot +W_2 を２つの成分 \bm x_1\in W_1 と \bm x_2\in W_2 とに 一意に 分解できる。

成分の値はもう一方の空間に依存する†

File not found: "ベクトルの成分１.png" at page "線形代数II/射影・直和・直交直和"[添付] File not found: "ベクトルの成分２.png" at page "線形代数II/射影・直和・直交直和"[添付]

同じベクトル \bm x を
W_1 と W_2 に分解したときの \bm x_1 と、
W_1 と W_3 に分解したときの \bm x'_1 とは
一般には異なる値になる。

すなわち、ある部分空間の成分は、その部分空間だけでは決まらずに、他の部分空間の取り方に依存する。

直交直和†

V の部分空間 W_1,W_2 の正規直交基底を合わせると V の正規直交基底となる場合、

W_1+W_2=W_1\oplus W_2

と書き、 W_1\oplus W_2 を W_1 と W_2 の直交直和という。

部分空間の直交性†

W_1,W_2 が直交直和 W_1\oplus W_2 を作るとき、 任意の \bm x_1\in W_1 と任意の \bm x_2\in W_2 は直交する。

すなわち (\bm x_1,\bm x_2)=0

直交直和の成分分解†

直交直和の成分分解は簡単で、

V の正規直交基底を \langle \bm e_1,\bm e_2,\dots,\bm e_n\rangle とすると、 任意の \bm x\in V\oplus W は、

&math( \bm x&=\bm x_V+\bm x_W\\ &=(x_1\bm e_1+x_2\bm e_2+\dots+x_n\bm e_n)+\bm x_W );

と分解でき、左から \bm e_k を掛ければ、

&math( (\bm e_k,\bm x)&=x_1(\bm e_k,\bm e_1)+x_2(\bm e_k,\bm e_2)+\dots+x_n(\bm e_k,\bm e_n)+(\bm e_k,\bm x_W)\\ &=x_k );

となるから、これを元の式に代入すれば、

&math( \bm x_V&=(\bm e_1,\bm x)\bm e_1+(\bm e_2,\bm x)\bm e_2+\dots+(\bm e_1,\bm x)\bm e_n\\ &=\bm e_1\bm e_1^\dagger\bm x+\bm e_2\bm e_2^\dagger\bm x+\dots+\bm e_n\bm e_n^\dagger\bm x\\ &=\big(\sum_{k=1}^n\bm e_k\bm e_k^\dagger\big)\bm x\\ &=P_V\bm x );

であり、 P_V=\sum_{k=1}^n\bm e_k\bm e_k^\dagger が V\oplus W から V への射影演算子を表わすことになる。

射影演算子は V のみの情報から成り立っており、 W によらないことに注意せよ。

直交直和でない場合には (\bm e_k,\bm x_W)=0 が必ずしも成り立たないため、 成分への分解がこれほど単純にならないことと対比して理解せよ

直交補空間†

全体空間 U を U=V\oplus W と表せるとき、 W を V の「直交補空間」と呼び、 W=V^\perp と表わす。

全体集合を、ある空間と、直交する補空間へと、分解するイメージである。

あるベクトル \bm x を \bm e に平行な成分 \bm x_\parallel と垂直な成分 \bm x_\perp に分ける問題は、それぞれ線形空間 V=\set{\bm p=t\bm e|t\in K} とその直交補空間 V^\perp の成分への分解を表わしていたことになる。

一方、全体空間 U を U=V\dot + W と表せるとき、 W を V の（単なる）「補空間」と呼ぶが、こちらはあまり使われない。

性質†

  • \bm x\in V のとき P_V\bm x=\bm x
  • \bm x\in V^\perp のとき P_V\bm x=\bm 0
  • E=P_V+P_{V^\perp}
  • 一般に P_V\bm x\in V だから、 P_V^2\bm x=P_V\bm x すなわち P_V^2=P_V あるいは P_V(E-P_V)=P_V(E-P_V)=O
  • これは、 P_{V^\perp}=E-P_V であり、 (E-P_V)\bm x\in V^{\perp} であることからも理解できる

例１†

\mathbb R^3 の部分空間として \bm a=\begin{pmatrix}1\\2\\3\end{pmatrix},\bm b=\begin{pmatrix}-1\\0\\1\end{pmatrix} で張られる空間 V=[\bm a,\bm b]\in \mathbb R^3 を考える。

\mathbb R^3 から V への射影演算子を求めよ。

解答：

\bm b,\bm a からシュミットの直交化を用いて正規直交系を作る。

\bm e_1=\frac{1}{\|\bm b\|}\bm b=\frac{1}{\sqrt 2}\begin{pmatrix}-1\\0\\1\end{pmatrix}

&math( \bm f_2 &=\bm a-(\bm e_1,\bm a)\bm e_1\\ &=\bm a-\bm e_1\bm e_1^\dagger\bm a\\ &=\begin{pmatrix}1\\2\\3\end{pmatrix}

  • \frac{1}{2}\begin{pmatrix}-1\\0\\1\end{pmatrix}\begin{pmatrix}-1&0&1\end{pmatrix}\begin{pmatrix}1\\2\\3\end{pmatrix}\\ &=\begin{pmatrix}1\\2\\3\end{pmatrix}-\begin{pmatrix}-1\\0\\1\end{pmatrix}\\ &=\begin{pmatrix}2\\2\\2\end{pmatrix}

);

&math( \bm e_2=\frac{1}{\|\bm f_2\|}\bm f_2=\frac{1}{\sqrt{3}}\begin{pmatrix}1\\1\\1\end{pmatrix} );

したがって、求める射影演算子は

&math( P_V&=\bm e_1\bm e_1^\dagger+\bm e_2\bm e_2^\dagger\\ &=\frac{1}{2}\begin{pmatrix}-1\\0\\1\end{pmatrix}\begin{pmatrix}-1&0&1\end{pmatrix}

  1. \frac{1}{3}\begin{pmatrix}1\\1\\1\end{pmatrix}\begin{pmatrix}1&1&1\end{pmatrix}\\ &=\frac{1}{2}\begin{pmatrix}1&0&-1\\0&0&0\\-1&0&1\end{pmatrix}
  2. \frac{1}{3}\begin{pmatrix}1&1&1\\1&1&1\\1&1&1\end{pmatrix}\\ &=\frac{1}{6}\begin{pmatrix}5&2&-1\\2&2&2\\-1&2&5\end{pmatrix} );

各射影演算子がエルミート（実数行列では対称）になっていることにも注目。

例２†

３次元空間に原点を通る平面 x+y+z=0 を考える。 この平面への射影演算子を求めよ。

一般化†

上記は２つの部分空間について交空間、和空間、直和、直交直和を考えたが、 ２つ以上の部分空間がある場合にも自然に拡張できる。

交空間 W_1\cap W_2\cap \dots\cap W_r 全空間の共通部分
和空間 W_1+W_2+\dots+W_r 一般には一次従属な空間たちを内包する空間
直和 W_1\dot +W_2\dot +\dots\dot +W_r 一次独立な空間たちを内包する空間
直交直和 W_1\oplus W_2\oplus \dots\oplus W_r 直交する空間たちを内包する空間

たとえば W_1\cap W_2\cap \dots\cap W_r=(\dots((W_1\cap W_2)\cap W_3)\cap \dots)\cap W_r の意味である。

交空間や和空間を表わす \cap,+ が 複数の部分空間から新しい部分空間を作る演算子であるのに比べて、 直和や直交直和を表わす \dot +,\oplus は 「線形空間同士の演算」 ではなく、 和空間の演算子で結ばれる２つの空間が特殊な条件を満たすことを 表現しているに過ぎない。この違いに注意せよ。

射影に関する簡易まとめ†

全体空間 U から
部分空間 V への射影演算子 P_V は、

\bm x\in U に対して、

  • P_V \bm x\in V かつ
  • \forall \bm y\in V に対して (\bm x-P_V\bm x,\bm y)=0

を満たす線形演算子。

これは、 U=V\oplus V^\perp として V の直交補空間 V^\perp を導入して

\bm x-P_V\bm x\in V^\perp

とも書ける。

数ベクトル空間における P_V の具体的な形は、 V の正規直交基底の１つを \set{\bm e_1,\bm e_2,\dots,\bm e_n} として、

&math( P_V&=\sum_{k=1}^n \bm e_k\bm e_k^\dagger\\

  &=\sum_{k=1}^n \bm e'_k{\bm e'_k}^\dagger

);

と表せる。ただし \set{\bm e'_k} は別の正規直交基底で、演算子の形は基底の取り方に依らず同じになる。

U=W_1\oplus W_2\oplus\dots\oplus W_r のように多数の空間に別れているときは、例えば

U=W_1\oplus \underbrace{W_2\oplus\dots\oplus W_r}_{W_1^\perp}=W_1\oplus W_1^\perp

である。

任意のベクトルの W_1 成分は他の W_k' の取り方に寄らず決定されるため、 射影演算子は上記のように W_1 に取った正規直交基底のみによって定義される。

前の単元 ＜＜＜ 　　　　　　　　　　　　　　　線形代数II 　　　　　　　　　　　　　　　＞＞＞ 次の単元

質問・コメント†




Counter: 151343 (from 2010/06/03), today: 7, yesterday: 15