射影・直和・直交直和 のバックアップソース(No.16)

更新

[[前の単元 <<<>線形代数II/内積と計量空間]]
               [[線形代数II]]
               [[>>> 次の単元>線形代数II/固有値問題・固有空間・スペクトル分解]]

#contents
#mathjax

* ベクトルの成分 [#x61c2758]

規格化されたベクトル &math(\bm e); に対して、ベクトル &math(\bm x); を 
- &math(\bm e); に平行な成分 &math(\bm x_{\parallel}=x_\parallel \bm e); と、
- &math(\bm e); に垂直な成分 &math(\bm x_{\perp}); とに分け、

&math(\bm x=\bm x_{\parallel}+\bm x_{\perp}=x_\parallel \bm e+\bm x_{\perp}); としたい。

&ref(成分分解.png,,33%);

両辺に左から &math(\bm e); をかければ、

&math((\bm e,\bm x)=x_{\parallel}(\bm e,\bm e)+(\bm e,\bm x{\perp})=x_{\parallel});

が得られ、

&math(\bm x_{\parallel}=(\bm e,\bm x)\bm e);~
&math(\bm x_{\perp}=\bm x-\bm x_\parallel=\bm x-(\bm e,\bm x)\bm e);

としてこれらのベクトルを求められる。~
(同じことをグラム・シュミットの直交化で行った)

この &math(\bm x_\parallel); を &math(\bm x); の &math(\bm e); 方向成分と呼ぶ。

*** 注意1 [#r5af3ba1]

当然 &math(\bm e); は規格化されていなければならない。

一般のベクトル &math(\bm v); 方向成分であれば、

&math(\bm x_{\parallel}=(\frac{\bm v}{\|\bm v\|},\bm x)\,\frac{\bm v}{\|\bm v\|}=\frac{(\bm v,\bm x)}{\|\bm v\|^2}\bm v);~

*** 注意2 [#s8228082]

複素ベクトルに対しては &math((\bm x,\bm e)\ne(\bm e,\bm x)); なので、
どちらから掛けるかが重要である。

&math((\bm e,\bm x)=(\bm e,x_\parallel \bm e)=x_{\parallel}); だが、~
&math((\bm x,\bm e)=(x_\parallel \bm e,\bm e)=\overline{x_{\parallel}}); となってしまう。

*** 注意3 [#p72a2888]

この授業では &math((\bm a,k\bm b)=k(\bm a,\bm b)); となる内積の公理を採用しているため
上記が正しいが、

多くの教科書では &math((k\bm a,\bm b)=k(\bm a,\bm b)); を採用しているため、
そのような公理系では逆から掛ける必要がある。

* 射影演算子 [#c9c77b82]

&math(
\bm x_{\parallel}&=(\bm e,\bm x)\bm e
);

の右辺は 「数」×「ベクトル」 で、「ベクトルのスカラー倍」
として任意の線形空間において正しい形であるが、

数ベクトル空間においてはこれを入れ替えると、

&math(
\bm x_{\parallel}=\bm e(\bm e,\bm x)
);

「n×1行列」×「1×1行列」で、行列のかけ算として正しい形になる。
(スカラーと1×1行列を同一視するのは1年生で学んだとおり)

さらに内積を行列の積で表わすと、

&math(
\bm x_{\parallel}&=\bm e \{\bm e^\dagger \bm x\}\\
&=\bm e \bm e^\dagger \bm x\\
&=P_{\bm e} \bm x
);

ただし、&math(P_{\bm e}=\bm e\bm e^\dagger); である。

この行列は &math(\bm x); から &math(\bm e); 方向成分を取り出す行列であり、
「&math(\bm e); 軸への射影演算子」と呼ばれる。

実際の形は、

&math(
P_{\bm e}&=\bm e\bm e^\dagger=
\begin{pmatrix}
e_1\\e_2\\\vdots\\e_n
\end{pmatrix}
\begin{pmatrix}
\overline{ e_1}&\overline{ e_2}&\dots&\overline{ e_n}
\end{pmatrix}\\
&=\begin{pmatrix}
e_1\overline{e_1}&e_1\overline{e_2}&\cdots&e_1\overline{e_n}\\
e_2\overline{e_1}&e_2\overline{e_2}&&\vdots\\
\vdots&&\ddots&\vdots\\
e_n\overline{e_1}&\cdots&\cdots&e_n\overline{e_n}
\end{pmatrix}
);

のように &math(n\times n); 行列になる。

&attachref(射影.png,,33%);

&math(\bm e); に垂直な光を &math(\bm x); に当てたとき、
&math(\bm e); 軸上にできる影が &math(\bm x_\parallel); 
であるという気持ちが込められている → 「射影」

** 射影演算子はエルミート行列になる。 [#tee56cfe]

上記の「具体的な形」を見て分かるとおり、

&math(\big(P_{\bm e}\big)_{ij}=e_j \overline{e_i});

&math(\big(P_{\bm e}\big)_{ji}=e_i \overline{e_j}=\overline{(e_j \overline{e_i})});

より、&math(\big(P_{\bm e}\big)_{ji}=\overline{\big(P_{\bm e}\big)_{ij}}); であり、
射影演算子はエルミートであることが分かる。

以下、あるベクトルを「成分」に分ける話を一般化する。

* 復習1:線形空間 [#y64f3022]

線形空間とは、ベクトルの和とスカラー倍について閉じた集合のことだった。

- 任意の &math(\bm x,\bm y\in V); に対して、必ず &math(\bm x+\bm y\in V);
- 任意の &math(\bm x\in V,k\in K); に対して、必ず &math(k\bm x\in V);

* 復習2:部分空間 [#t397a1fd]

線形空間の部分集合 &math(W\subset V); がベクトルの和とスカラー倍について閉じている場合、
&math(W); も線形空間となり、&math(W); は &math(V); の部分空間であるという。

&math(\mathbb R^3); の部分空間:

- 0次元の部分空間は原点のみからなる集合 &math(\set{\bm 0});
- 1次元の部分空間は原点を通る直線    &math(\set{\bm p=s\bm a|s\in K});
- 2次元の部分空間は原点を通る平面    &math(\set{\bm p=s\bm a+t\bm b|s,t\in K});
- 3次元の部分空間は &math(\mathbb R^3); そのもの

同じ直線的でも、原点を通らない &math(\set{\bm p=s\bm a+\bm b|s\in K}); 
は線形空間にならない。(和やスカラー倍が元の集合からはみ出す)

* 復習3:集合の積と和 [#sea08144]

集合 &math(A); と集合 &math(B); の積と和は、

#multicolumns
:積(交わり)|
&math(A\cap B=\set{x|x\in A\,\mathrm{かつ}\,x\in B});~
&math(A); および &math(B); の両方に含まれる要素の集合
#multicolumns
:和(結び)|
&math(A\cup B=\set{x|x\in A\,\mathrm{または}\,x\in B});~
&math(A); あるいは &math(B); の少なくとも片方に含まれる要素の集合
#multicolumns(end)

#ref(積集合和集合.png,center,33%);

記号の覚え方:
-「&math(x\in A\,\mathrm{かつ}\,x\in B);」は英語では「&math(x\in A\,\mathrm{and}\,x\in B);」
- And の A と &math(\cap); とは似ている(でしょ?)

* 交空間 [#oa2a08fa]

2つの部分空間 &math(W_1,W_2); の交わり &math(W_1\cap W_2); は無条件で線形空間となり、
交空間と呼ばれる。

練習:部分空間の積(交わり)がベクトルの和とスカラー倍について閉じていることを示せ。

* 和集合は線形空間にならない [#xd00301e]

&attachref(ベクトルの成分1.png,,33%);

2つの1次元部分空間 &math(W_1,W_2); の和集合 &math(W_1\cup W_2); 
は、原点を通る2本の直線を合わせた集合。

この集合から2つのベクトルを取って和を作ると、集合から「はみ出してしまう」。

* 和空間 [#i53e231d]

和集合を含む最小の線形空間を和空間 &math(W_1+W_2); と呼ぶ

&math(W_1+W_2=\set{\bm x=\bm x_1+\bm x_2|\bm x_1\in W_1,\bm x_2\in W_2}); となる。

** 和空間は $W_1,W_2$ の基底ベクトルを合わせたベクトルで張られる [#w95305d5]

&math(W_1,W_2); の基底を 
&math(B_1=\set{\bm b_{11},\bm b_{12},\dots,\bm b_{1m}});
&math(B_2=\set{\bm b_{21},\bm b_{22},\dots,\bm b_{2n}}); とする。

&math(\bm x=\bm x_1+\bm x_2); ただし &math(\bm x_1\in W_1,\bm x_2\in W_2); のとき、

&math(\bm x=\sum_{k=1}^m x_{1k}\bm b_{1k}+\sum_{k=1}^m x_{2k}\bm b_{2k});

であり、任意の &math(\bm x\in W_1+W_2); を、&math(W_1); と &math(W_2); 
の基底を合わせたベクトルの一次結合で表せることが分かる。

** 和空間の次元 [#iadf0b68]

&math(W_1,W_2); の基底 &math(B_1,B_2); を合わせたベクトルが一次独立であれば

&math(\dim (W_1+W_2)=\dim W_1+\dim W_2);

となるが、一般には2つの空間の交わりがゼロにはならないため、

&math(\dim (W_1+W_2)<\dim W_1+\dim W_2);

となる。より正確には、

&math(\dim (W_1+W_2)=\dim W_1+\dim W_2-\dim(W_1\cap W_2));

である。

例:3次元空間に原点を通る2枚の平面 &math(W_1,W_2); を考えると、これらはそれぞれ部分空間となる。
2枚が平行ではない場合、これらの和空間 &math(W_1+W_2); は3次元空間全体であり、原点を通る交線が交空間 &math(W_1\cap W_2); である。このとき、

&math(
\underbrace{\dim(W_1+W_2)}_3=\underbrace{\dim W_1}_2+\underbrace{\dim W_2}_2-\underbrace{\dim(W_1\cap W_2)}_1
);

* 直和 [#u527a7fd]

&math(W_1,W_2); の基底を合わせると &math(W_1+W_2); の基底となる時、~
すなわち &math(W_1); の基底と &math(W_2); の基底を合わせたベクトルが一次独立であるとき、

&math(W_1+W_2=W_1\dot +W_2);

と書き、&math(W_1\dot +W_2); を &math(W_1); と &math(W_2); の直和という。

これは和空間と対立する概念ではなく、&math(W_1); と &math(W_2); の和空間を作ったときに、
たまたま &math(\dim(W_1+W_2)=\dim W_1+\dim W_2); となったとき、
それを直和と呼ぶということ。

** 成分分解 [#o401c83d]

そのようにして作った &math(W_1\dot +W_2); の基底を 
&math(B=\langle\bm b_1,\bm b_2,\dots,\bm b_n\rangle); とすると、

&math(
\bm x&=\underbrace{x_1\bm b_1+x_2\bm b_2+\cdots}_{\bm x_1\in W_1}
\underbrace{\cdots+x_n\bm b_n}_{\bm x_2\in W_2}\\
&=\bm x_1+\bm x_2
);

のように、任意の &math(\bm x\in W_1\dot +W_2); を2つの成分 
&math(\bm x_1\in W_1); と &math(\bm x_2\in W_2); とに ''一意に'' 分解できる。

** 成分の値はもう一方の空間に依存する [#e7949533]

&attachref(ベクトルの成分1.png,,33%);
&attachref(ベクトルの成分2.png,,33%);

同じベクトル &math(\bm x); を~
&math(W_1); と &math(W_2); に分解したときの &math(\bm x_1); と、~
&math(W_1); と &math(W_3); に分解したときの &math(\bm x'_1); とは~
一般には異なる値になる。

すなわち、ある部分空間の成分は、その部分空間だけでは決まらずに、他の部分空間の取り方に依存する。

* 直交直和 [#d251a548]

&math(V); の部分空間 &math(W_1,W_2); の''正規直交''基底を合わせると &math(V); の''正規直交''基底となる場合、

&math(W_1+W_2=W_1\oplus W_2);

と書き、&math(W_1\oplus W_2); を &math(W_1); と &math(W_2); の直交直和という。

** 部分空間の直交性 [#k10e4a58]

&math(W_1,W_2); が直交直和 &math(W_1\oplus W_2); を作るとき、
任意の &math(\bm x_1\in W_1); と任意の &math(\bm x_2\in W_2); は直交する。

すなわち &math((\bm x_1,\bm x_2)=0);

** 直交直和の成分分解 [#d2df2673]

直交直和の成分分解は簡単で、

&math(V); の正規直交基底を &math(\langle \bm e_1,\bm e_2,\dots,\bm e_n\rangle); とすると、
任意の &math(\bm x\in V\oplus W); は、

&math(
\bm x&=\bm x_V+\bm x_W\\
&=(x_1\bm e_1+x_2\bm e_2+\dots+x_n\bm e_n)+\bm x_W
);

と分解でき、左から &math(\bm e_k); を掛ければ、

&math(
(\bm e_k,\bm x)&=x_1(\bm e_k,\bm e_1)+x_2(\bm e_k,\bm e_2)+\dots+x_n(\bm e_k,\bm e_n)+(\bm e_k,\bm x_W)\\
&=x_k
);

となるから、これを元の式に代入すれば、

&math(
\bm x_V&=(\bm e_1,\bm x)\bm e_1+(\bm e_2,\bm x)\bm e_2+\dots+(\bm e_1,\bm x)\bm e_n\\
&=\bm e_1\bm e_1^\dagger\bm x+\bm e_2\bm e_2^\dagger\bm x+\dots+\bm e_n\bm e_n^\dagger\bm x\\
&=\big(\sum_{k=1}^n\bm e_k\bm e_k^\dagger\big)\bm x\\
&=P_V\bm x
);

であり、&math(P_V=\sum_{k=1}^n\bm e_k\bm e_k^\dagger); が &math(V\oplus W); 
から &math(V); への射影演算子を表わすことになる。

射影演算子は &math(V); のみの情報から成り立っており、
&math(W); によらないことに注意せよ。

直交直和でない場合には &math((\bm e_k,\bm x_W)=0); が必ずしも成り立たないため、
成分への分解がこれほど単純にならないことと対比して理解せよ

** 直交補空間 [#td0c1fcb]

全体空間 &math(U); を &math(U=V\oplus W); と表せるとき、
&math(W); を &math(V); の「直交補空間」と呼び、&math(W=V^\perp); と表わす。

全体集合を、ある空間と、直交する補空間へと、分解するイメージである。

あるベクトル &math(\bm x); を &math(\bm e); 
に平行な成分 &math(\bm x_\parallel); と垂直な成分 &math(\bm x_\perp); 
に分ける問題は、それぞれ線形空間 &math(V=\set{\bm p=t\bm e|t\in K}); 
とその直交補空間 &math(V^\perp); の成分への分解を表わしていたことになる。

一方、全体空間 &math(U); を &math(U=V\dot + W); と表せるとき、
&math(W); を &math(V); の(単なる)「補空間」と呼ぶが、こちらはあまり使われない。

** 性質 [#ae98dccc]

- &math(\bm x\in V); のとき &math(P_V\bm x=\bm x);
- &math(\bm x\in V^\perp); のとき &math(P_V\bm x=\bm 0);
- &math(E=P_V+P_{V^\perp});
- 一般に &math(P_V\bm x\in V); だから、&math(P_V^2\bm x=P_V\bm x); すなわち &math(P_V^2=P_V); あるいは &math(P_V(E-P_V)=P_V(E-P_V)=O);
- これは、&math(P_{V^\perp}=E-P_V); であり、&math((E-P_V)\bm x\in V^{\perp}); であることからも理解できる

** 例1 [#mfbb4345]

&math(\mathbb R^3); の部分空間として
&math(\bm a=\begin{pmatrix}1\\2\\3\end{pmatrix},\bm b=\begin{pmatrix}-1\\0\\1\end{pmatrix}); で張られる空間 &math(V=[\bm a,\bm b]\in \mathbb R^3);を考える。

&math(\mathbb R^3); から &math(V); への射影演算子を求めよ。

解答:

&math(\bm b,\bm a); からシュミットの直交化を用いて正規直交系を作る。

&math(\bm e_1=\frac{1}{\|\bm b\|}\bm b=\frac{1}{\sqrt 2}\begin{pmatrix}-1\\0\\1\end{pmatrix});

&math(
\bm f_2
&=\bm a-(\bm e_1,\bm a)\bm e_1\\
&=\bm a-\bm e_1\bm e_1^\dagger\bm a\\
&=\begin{pmatrix}1\\2\\3\end{pmatrix}
-\frac{1}{2}\begin{pmatrix}-1\\0\\1\end{pmatrix}\begin{pmatrix}-1&0&1\end{pmatrix}\begin{pmatrix}1\\2\\3\end{pmatrix}\\
&=\begin{pmatrix}1\\2\\3\end{pmatrix}-\begin{pmatrix}-1\\0\\1\end{pmatrix}\\
&=\begin{pmatrix}2\\2\\2\end{pmatrix}

);

&math(
\bm e_2=\frac{1}{\|\bm f_2\|}\bm f_2=\frac{1}{\sqrt{3}}\begin{pmatrix}1\\1\\1\end{pmatrix}
);

したがって、求める射影演算子は

&math(
P_V&=\bm e_1\bm e_1^\dagger+\bm e_2\bm e_2^\dagger\\
&=\frac{1}{2}\begin{pmatrix}-1\\0\\1\end{pmatrix}\begin{pmatrix}-1&0&1\end{pmatrix}
+ \frac{1}{3}\begin{pmatrix}1\\1\\1\end{pmatrix}\begin{pmatrix}1&1&1\end{pmatrix}\\
&=\frac{1}{2}\begin{pmatrix}1&0&-1\\0&0&0\\-1&0&1\end{pmatrix}
+ \frac{1}{3}\begin{pmatrix}1&1&1\\1&1&1\\1&1&1\end{pmatrix}\\
&=\frac{1}{6}\begin{pmatrix}5&2&-1\\2&2&2\\-1&2&5\end{pmatrix}
);

各射影演算子がエルミート(実数行列では対称)になっていることにも注目。

** 例2 [#tac0cf13]

3次元空間に原点を通る平面 &math(x+y+z=0); を考える。
この平面への射影演算子を求めよ。

* 一般化 [#jaf6d678]

上記は2つの部分空間について交空間、和空間、直和、直交直和を考えたが、
2つ以上の部分空間がある場合にも自然に拡張できる。

|交空間  |&math(W_1\cap W_2\cap \dots\cap W_r);      |全空間の共通部分|
|和空間  |&math(W_1+W_2+\dots+W_r);                  |一般には一次従属な空間たちを内包する空間|
|直和    |&math(W_1\dot +W_2\dot +\dots\dot +W_r);   |一次独立な空間たちを内包する空間|
|直交直和|&math(W_1\oplus W_2\oplus \dots\oplus W_r);|直交する空間たちを内包する空間  |

たとえば &math(W_1\cap W_2\cap \dots\cap W_r=(\dots((W_1\cap W_2)\cap W_3)\cap \dots)\cap W_r); の意味である。

交空間や和空間を表わす &math(\cap,+); が
複数の部分空間から新しい部分空間を作る演算子であるのに比べて、
直和や直交直和を表わす &math(\dot +,\oplus); は 「線形空間同士の演算」 ではなく、
和空間の演算子で結ばれる2つの空間が特殊な条件を満たすことを
表現しているに過ぎない。この違いに注意せよ。

* 射影に関する簡易まとめ [#ydc7bdc9]

全体空間 &math(U); から~
部分空間 &math(V); への射影演算子 &math(P_V); は、

&math(\bm x\in U); に対して、
- &math(P_V \bm x\in V); かつ
- &math(\forall \bm y\in V); に対して &math((\bm x-P_V\bm x,\bm y)=0);

を満たす線形演算子。

これは、&math(U=V\oplus V^\perp); として &math(V); の直交補空間 &math(V^\perp); を導入して

&math(\bm x-P_V\bm x\in V^\perp);

とも書ける。

数ベクトル空間における &math(P_V); の具体的な形は、&math(V); の正規直交基底の1つを &math(\set{\bm e_1,\bm e_2,\dots,\bm e_n}); として、

&math(
P_V&=\sum_{k=1}^n \bm e_k\bm e_k^\dagger\\
   &=\sum_{k=1}^n \bm e'_k{\bm e'_k}^\dagger
);

と表せる。ただし &math(\set{\bm e'_k}); は別の正規直交基底で、演算子の形は基底の取り方に依らず同じになる。

&math(U=W_1\oplus W_2\oplus\dots\oplus W_r); のように多数の空間に別れているときは、例えば

&math(U=W_1\oplus \underbrace{W_2\oplus\dots\oplus W_r}_{W_1^\perp}=W_1\oplus W_1^\perp);

である。

任意のベクトルの &math(W_1); 成分は他の &math(W_k'); の取り方に寄らず決定されるため、
射影演算子は上記のように &math(W_1); に取った正規直交基底のみによって定義される。

[[前の単元 <<<>線形代数II/内積と計量空間]]
               [[線形代数II]]
               [[>>> 次の単元>線形代数II/固有値問題・固有空間・スペクトル分解]]

* 質問・コメント [#m8a71c0e]

#article_kcaptcha

Counter: 118970 (from 2010/06/03), today: 56, yesterday: 0