射影・直和・直交直和のバックアップ差分(No.11)

更新
追加された行はこの色です。
削除された行はこの色です。
[[前の単元 ＜＜＜>線形代数Ⅱ/内積と計量空間]]
　　　　　　　　　　　　　　　[[線形代数Ⅱ]]
　　　　　　　　　　　　　　　[[＞＞＞ 次の単元>線形代数Ⅱ/固有関数・固有空間・スペクトル分解]]
　　　　　　　　　　　　　　　[[＞＞＞ 次の単元>線形代数Ⅱ/固有値問題・固有空間・スペクトル分解]]

#contents
#mathjax

* ベクトルの成分 [#x61c2758]

規格化されたベクトル &math(\bm e); に対して、ベクトル &math(\bm x); を 
- &math(\bm e); に平行な成分 &math(\bm x_{\parallel}=x_\parallel \bm e); と、
- &math(\bm e); に垂直な成分 &math(\bm x_{\perp}); とに分け、

&math(\bm x=\bm x_{\parallel}+\bm x_{\perp}=x_\parallel \bm e+\bm x_{\perp}); としたい。

&ref(成分分解.png,,33%);

両辺に左から &math(\bm e); をかければ、

&math((\bm e,\bm x)=x_{\parallel}(\bm e,\bm e)+(\bm e,\bm x{\perp})=x_{\parallel});

が得られ、

&math(\bm x_{\parallel}=(\bm e,\bm x)\bm e);~
&math(\bm x_{\perp}=\bm x-\bm x_\parallel=\bm x-(\bm e,\bm x)\bm e);

としてこれらのベクトルを求められる。~
（同じことをグラム・シュミットの直交化で行った）

この &math(\bm x_\parallel); を &math(\bm x); の &math(\bm e); 方向成分と呼ぶ。

*** 注意１ [#r5af3ba1]

当然 &math(\bm e); は規格化されていなければならない。

一般のベクトル &math(\bm v); 方向成分であれば、

&math(\bm x_{\parallel}=\frac{(\bm v,\bm x)}{\|\bm v\|^2}\bm v);~

*** 注意２ [#s8228082]

複素ベクトルに対しては &math((\bm x,\bm e)\ne(\bm e,\bm x)); なので、
どちらから掛けるかが重要である。

&math((\bm e,\bm x)=(\bm e,x_\parallel \bm e)=x_{\parallel}); だが、~
&math((\bm x,\bm e)=(x_\parallel \bm e,\bm e)=\overline{x_{\parallel}}); となってしまう。

*** 注意３ [#p72a2888]

この授業では &math((\bm a,k\bm b)=k(\bm a,\bm b)); となる内積の公理を採用しているため
上記が正しいが、

多くの教科書では &math((k\bm a,\bm b)=k(\bm a,\bm b)); を採用しているため、
そのような公理系では逆から掛ける必要がある。

* 射影演算子 [#c9c77b82]

&math(
\bm x_{\parallel}&=(\bm e,\bm x)\bm e
);

は 「数」×「ベクトル」 で、「ベクトルのスカラー倍」
として任意の線形空間において正しい形であるが、

数ベクトル空間においてはこれを入れ替えると、

&math(
\bm x_{\parallel}=\bm e(\bm e,\bm x)
);

「ｎ×１行列」×「１×１行列」で、行列のかけ算として正しい形になる。
（スカラーと１×１行列を同一視するのは１年生で学んだとおり）

さらに内積を行列の積で表わすと、

&math(
\bm x_{\parallel}&=\bm e \{\bm e^\dagger \bm x\}\\
&=\bm e \bm e^\dagger \bm x\\
&=P_{\bm e} \bm x
);

ただし、&math(P_{\bm e}=\bm e\bm e^\dagger); である。

この行列は &math(\bm x); から &math(\bm e); 方向成分を取り出す行列であり、
「&math(\bm e); 軸への射影演算子」と呼ばれる。

実際の形は、

&math(
P_{\bm e}&=\bm e\bm e^\dagger=
\begin{pmatrix}
e_1\\e_2\\\vdots\\e_n
\end{pmatrix}
\begin{pmatrix}
\overline{ e_1}&\overline{ e_2}&\dots&\overline{ e_n}
\end{pmatrix}\\
&=\begin{pmatrix}
e_1\overline{e_1}&e_1\overline{e_2}&\cdots&e_1\overline{e_n}\\
e_2\overline{e_1}&e_2\overline{e_2}&&\vdots\\
\vdots&&\ddots&\vdots\\
e_n\overline{e_1}&\cdots&\cdots&e_n\overline{e_n}
\end{pmatrix}
);

のように &math(n\times n); 行列になる。

&attachref(射影.png,,33%);

&math(\bm x); に &math(\bm e); に垂直に光を当てたとき、
&math(\bm e); 軸上にできる影が &math(\bm x_\parallel); 
であるという気持ちが込められている → 「射影」

** 射影演算子はエルミート行列になる。 [#tee56cfe]

上記の「具体的な形」を見て分かるとおり、

&math(\big(P_{\bm e}\big)_{ij}=e_j \overline{e_i});

&math(\big(P_{\bm e}\big)_{ji}=e_i \overline{e_j}=\overline{(e_j \overline{e_i})});

より、&math(\big(P_{\bm e}\big)_{ji}=\overline{\big(P_{\bm e}\big)_{ij}}); であり、
射影演算子はエルミートであることが分かる。

以下、あるベクトルを「成分」に分ける話を一般化する。

* 復習１：線形空間 [#y64f3022]

線形空間とは、ベクトルの和とスカラー倍について閉じた集合のことだった。

- 任意の &math(\bm x,\bm y\in V); に対して、必ず &math(\bm x+\bm y\in V);
- 任意の &math(\bm x\in V,k\in K); に対して、必ず &math(k\bm x\in V);

* 復習２：部分空間 [#t397a1fd]

線形空間の部分集合 &math(W\subset V); がベクトルの和とスカラー倍について閉じている場合、
&math(W); も線形空間となり、&math(W); は &math(V); の部分空間であるという。

&math(\mathbb R^3); の部分空間：

- ０次元の部分空間は原点のみからなる集合 &math(\set{\bm 0});
- １次元の部分空間は原点を通る直線　　　 &math(\set{\bm p=s\bm a|s\in K});
- ２次元の部分空間は原点を通る平面　　　 &math(\set{\bm p=s\bm a+t\bm b|s,t\in K});
- ３次元の部分空間は &math(\mathbb R^3); そのもの

同じ直線的でも、原点を通らない &math(\set{\bm p=s\bm a+\bm b|s\in K}); 
は線形空間にならない。（和やスカラー倍が元の集合からはみ出す）

* 復習３：集合の積と和 [#sea08144]

集合 &math(A); と集合 &math(B); の積と和は、

#multicolumns
:積（交わり）|
&math(A\cap B=\set{x|x\in A\,\mathrm{かつ}\,x\in B});~
&math(A); および &math(B); の両方に含まれる要素の集合
#multicolumns
:和（結び）|
&math(A\cup B=\set{x|x\in A\,\mathrm{または}\,x\in B});~
&math(A); あるいは &math(B); の少なくとも片方に含まれる要素の集合
#multicolumns(end)

#ref(積集合和集合.png,center,33%);

記号の覚え方：
-「&math(x\in A\,\mathrm{かつ}\,x\in B);」は英語では「&math(x\in A\,\mathrm{and}\,x\in B);」
- And の A と &math(\cap); とは似ている（でしょ？）

* 交空間 [#oa2a08fa]

２つの部分空間 &math(W_1,W_2); の交わり &math(W_1\cap W_2); は無条件で線形空間となり、
交空間と呼ばれる。

練習：部分空間の積（交わり）がベクトルの和とスカラー倍について閉じていることを示せ。

* 和集合は線形空間にならない [#xd00301e]

&attachref(ベクトルの成分１.png,,33%);

２つの１次元部分空間 &math(W_1,W_2); の和集合 &math(W_1\cup W_2); 
は、原点を通る２本の直線を合わせた集合。

この集合から２つのベクトルを取って和を作ると、集合から「はみ出してしまう」。

* 和空間 [#i53e231d]

和集合を含む最小の線形空間を和空間 &math(W_1+W_2); と呼ぶ

&math(W_1+W_2=\set{\bm x=\bm x_1+\bm x_2|\bm x_1\in W_1,\bm x_2\in W_2});　となる。

** 和集合は $W_1,W_2$ の基底ベクトルを合わせたベクトルで張られる [#w95305d5]

&math(W_1,W_2); の基底を 
&math(B_1=\set{\bm b_{11},\bm b_{12},\dots,\bm b_{1m}});
&math(B_2=\set{\bm b_{21},\bm b_{22},\dots,\bm b_{2n}}); とする。

&math(\bm x=\bm x_1+\bm x_2); ただし &math(\bm x_1\in W_1,\bm x_2\in W_2); のとき、

&math(\bm x=\sum_{k=1}^m x_{1k}\bm b_{1k}+\sum_{k=1}^m x_{2k}\bm b_{2k});

であり、任意の &math(\bm x\in W_1+W_2); を、&math(W_1); と &math(W_2); 
の基底を合わせたベクトルの一次結合で表せることが分かる。

** 和集合の次元 [#iadf0b68]

基底 &math(B_1,B_2); に含まれるベクトルが一次独立であれば
&math(W_1,W_2); の基底 &math(B_1,B_2); を合わせたベクトルが一次独立であれば

&math(\dim (W_1+W_2)=\dim W_1+\dim W_2);

となるが、一般には２つの空間の交わりがゼロにはならないため、

&math(\dim (W_1+W_2)<\dim W_1+\dim W_2);

となる。より正確には、

&math(\dim (W_1+W_2)=\dim W_1+\dim W_2-\dim(W_1\cap W_2));

である。

例：３次元空間に原点を通る２枚の平面 &math(W_1,W_2); を考えると、これらはそれぞれ部分空間となる。
２枚が平行ではない場合、これらの和空間 &math(W_1+W_2); は３次元空間全体であり、原点を通る交線が交空間 &math(W_1\cap W_2); である。このとき、

&math(
\underbrace{\dim(W_1+W_2)}_3=\underbrace{\dim W_1}_2+\underbrace{\dim W_2}_2-\underbrace{\dim(W_1\cap W_2)}_1
);

* 直和 [#u527a7fd]

&math(W_1,W_2); の基底を合わせると &math(W_1+W_2); の基底となる時、
すなわち &math(W_1); と &math(W_2); の基底を合わせたベクトルが一次独立であるとき、

&math(W_1+W_2=W_1\dot +W_2);

と書き、&math(W_1\dot +W_2); を &math(W_1); と &math(W_2); の直和という。

** 成分分解 [#o401c83d]

そのようにして作った &math(W_1\dot +W_2); の基底を 
&math(B=\langle\bm b_1,\bm b_2,\dots,\bm b_n\rangle); とすると、

&math(
\bm x&=\underbrace{x_1\bm b_1+x_2\bm b_2+\cdots}_{\bm x_1\in W_1}
\underbrace{\cdots+x_n\bm b_n}_{\bm x_2\in W_2}\\
&=\bm x_1+\bm x_2
);

のように、任意の &math(\bm x\in W_1\dot +W_2); を２つの成分 
&math(\bm x_1\in W_1); と &math(\bm x_2\in W_2); とに ''一意に'' 分解できる。

** 成分の値はもう一方の空間に依存する [#e7949533]

&attachref(ベクトルの成分１.png,,33%);
&attachref(ベクトルの成分２.png,,33%);

同じベクトル &math(\bm x); を~
&math(W_1); と &math(W_2); に分解したときの &math(\bm x_1); と、~
&math(W_1); と &math(W_3); に分解したときの &math(\bm x'_1); とは~
一般には異なる値になる。

すなわち、ある部分空間の成分は、その部分空間だけでは決まらずに、他の部分空間の取り方に依存する。

* 直交直和 [#d251a548]

&math(V); の部分空間 &math(W_1,W_2); の''正規直交''基底を合わせると &math(V); の''正規直交''基底となる場合、

&math(W_1+W_2=W_1\oplus W_2);

と書き、&math(W_1\oplus W_2); を &math(W_1); と &math(W_2); の直交直和という。

** 部分空間の直交性 [#k10e4a58]

&math(W_1,W_2); が直交直和 &math(W_1\oplus W_2); を作るとき、
任意の &math(\bm x_1\in W_1); と任意の &math(\bm x_2\in W_2); は直交する。

すなわち &math((\bm x_1,\bm x_2)=0);

** 直交直和の成分分解 [#d2df2673]

直交直和の成分分解は簡単で、

&math(V); の正規直交基底を &math(\langle \bm e_1,\bm e_2,\dots,\bm e_n\rangle); とすると、
任意の &math(\bm x\in V\oplus W); は、

&math(
\bm x&=\bm x_V+\bm x_W\\
&=(x_1\bm e_1+x_2\bm e_2+\dots+x_n\bm e_n)+\bm x_W
);

と分解でき、左から &math(\bm e_k); を掛ければ、

&math(
(\bm e_k,\bm x)&=x_1(\bm e_k,\bm e_1)+x_2(\bm e_k,\bm e_2)+\dots+x_n(\bm e_k,\bm e_n)+(\bm e_k,\bm x_W)\\
&=x_k
);

となるから、これを元の式に代入すれば、

&math(
\bm x_V&=(\bm e_1,\bm x)\bm e_1+(\bm e_2,\bm x)\bm e_2+\dots+(\bm e_1,\bm x)\bm e_n\\
&=\bm e_1\bm e_1^\dagger\bm x+\bm e_2\bm e_2^\dagger\bm x+\dots+\bm e_n\bm e_n^\dagger\bm x\\
&=\big(\sum_{k=1}^n\bm e_k\bm e_k^\dagger\big)\bm x\\
&=P_V\bm x
);

であり、&math(P_V=\sum_{k=1}^n\bm e_k\bm e_k^\dagger); が &math(V\oplus W); 
から &math(V); への射影演算子を表わすことになる。

射影演算子は &math(V); のみの情報から成り立っており、
&math(W); によらないことに注意せよ。

直交直和でない場合には &math((\bm e_k,\bm x_W)=0); が必ずしも成り立たないため、
成分への分解がこれほど単純にならないことと対比して理解せよ

** 直交補空間 [#td0c1fcb]

全体空間 &math(U); を &math(U=V\oplus W); と表せるとき、
&math(W); を &math(V); の「直交補空間」と呼び、&math(W=V^\perp); と表わす。

全体集合を、ある空間と、直交する補空間へと、分解するイメージである。

あるベクトル &math(\bm x); を &math(\bm e); 
に平行な成分 &math(\bm x_\parallel); と垂直な成分 &math(\bm x_\perp); 
に分ける問題は、それぞれ線形空間 &math(V=\set{\bm p=t\bm e|t\in K}); 
とその直交補空間 &math(V^\perp); の成分への分解を表わしていたことになる。

一方、全体空間 &math(U); を &math(U=V\dot + W); と表せるとき、
&math(W); を &math(V); の（単なる）「補空間」と呼ぶが、こちらはあまり使われない。

** 性質 [#ae98dccc]

- &math(\bm x\in V); のとき &math(P_V\bm x=\bm x);
- &math(\bm x\in V^\perp); のとき &math(P_V\bm x=\bm 0);
- &math(E=P_V+P_{V^\perp});
- 一般に &math(P_V\bm x\in V); だから、&math(P_V^2\bm x=P_V\bm x); すなわち &math(P_V^2=P_V); あるいは &math(P_V(E-P_V)=P_V(E-P_V)=O);
- これは、&math(P_{V^\perp}=E-P_V); であり、&math((E-P_V)\bm x\in V^{\perp}); であることからも理解できる

** 例１ [#mfbb4345]

&math(\mathbb R^3); の部分空間として
&math(\bm a=\begin{pmatrix}1\\2\\3\end{pmatrix},\bm b=\begin{pmatrix}-1\\0\\1\end{pmatrix}); で張られる空間 &math(V=[\bm a,\bm b]\in \mathbb R^3);を考える。

&math(\mathbb R^3); から &math(V); への射影演算子を求めよ。

解答：

&math(\bm b,\bm a); からシュミットの直交化を用いて正規直交系を作る。

&math(\bm e_1=\frac{1}{\|\bm b\|}\bm b=\frac{1}{\sqrt 2}\begin{pmatrix}-1\\0\\1\end{pmatrix});

&math(
\bm f_2
&=\bm a-(\bm e_1,\bm a)\bm e_1\\
&=\bm a-\bm e_1\bm e_1^\dagger\bm a\\
&=\begin{pmatrix}1\\2\\3\end{pmatrix}
-\frac{1}{2}\begin{pmatrix}-1\\0\\1\end{pmatrix}\begin{pmatrix}-1&0&1\end{pmatrix}\begin{pmatrix}1\\2\\3\end{pmatrix}\\
&=\begin{pmatrix}1\\2\\3\end{pmatrix}-\begin{pmatrix}-1\\0\\1\end{pmatrix}\\
&=\begin{pmatrix}2\\2\\2\end{pmatrix}

);

&math(
\bm e_2=\frac{1}{\|\bm f_2\|}\bm f_2=\frac{1}{\sqrt{3}}\begin{pmatrix}1\\1\\1\end{pmatrix}
);

したがって、求める射影演算子は

&math(
P_V&=\bm e_1\bm e_1^\dagger+\bm e_2\bm e_2^\dagger\\
&=\frac{1}{2}\begin{pmatrix}-1\\0\\1\end{pmatrix}\begin{pmatrix}-1&0&1\end{pmatrix}
+ \frac{1}{3}\begin{pmatrix}1\\1\\1\end{pmatrix}\begin{pmatrix}1&1&1\end{pmatrix}\\
&=\frac{1}{2}\begin{pmatrix}1&0&-1\\0&0&0\\-1&0&1\end{pmatrix}
+ \frac{1}{3}\begin{pmatrix}1&1&1\\1&1&1\\1&1&1\end{pmatrix}\\
&=\frac{1}{6}\begin{pmatrix}5&2&-1\\2&2&2\\-1&2&5\end{pmatrix}
);

各射影演算子がエルミート（実数行列では対称）になっていることにも注目。

** 例２ [#tac0cf13]

３次元空間に原点を通る平面 &math(x+y+z=0); を考える。
この平面への射影演算子を求めよ。

* 一般化 [#jaf6d678]

上記は２つの部分空間について交空間、和空間、直和、直交直和を考えたが、
２つ以上の部分空間がある場合にも自然に拡張できる。

|交空間  |&math(W_1\cap W_2\cap \dots\cap W_r);      |全空間の共通部分|
|和空間  |&math(W_1+W_2+\dots+W_r);                  |一般には一次従属な空間|
|直和    |&math(W_1\dot +W_2\dot +\dots\dot +W_r);   |一次独立な空間|
|直交直和|&math(W_1\oplus W_2\oplus \dots\oplus W_r);|直交する空間  |
|和空間  |&math(W_1+W_2+\dots+W_r);                  |一般には一次従属な空間たちを内包する空間|
|直和    |&math(W_1\dot +W_2\dot +\dots\dot +W_r);   |一次独立な空間たちを内包する空間|
|直交直和|&math(W_1\oplus W_2\oplus \dots\oplus W_r);|直交する空間たちを内包する空間  |

たとえば &math(W_1\cap W_2\cap \dots\cap W_r=(\dots((W_1\cap W_2)\cap W_3)\cap \dots)\cap W_r); の意味である。

直和や直交直和は 「線形空間同士の演算」 ではなく、和空間の演算子で結ばれる２つの空間が特殊な条件を満たすことを表現しているに過ぎないことに注意せよ。
交空間や和空間を表わす &math(\cap,+); が
複数の部分空間から新しい部分空間を作る演算子であるのに比べて、
直和や直交直和を表わす &math(\dot +,\oplus); は 「線形空間同士の演算」 ではなく、
和空間の演算子で結ばれる２つの空間が特殊な条件を満たすことを
表現しているに過ぎない。この違いに注意せよ。

* 射影に関する簡易まとめ [#ydc7bdc9]

全体空間 &math(U); から~
部分空間 &math(V); への射影演算子 &math(P_V); は、

&math(\bm x\in U); に対して、
- &math(P_V \bm x\in V); かつ
- &math(\forall \bm y\in V); に対して &math((\bm x-P_V\bm x,\bm y)=0);

を満たす線形演算子。

これは、&math(U=V\oplus V^\perp); として &math(V); の直交補空間 &math(V^\perp); を導入して

&math(\bm x-P_V\bm x\in V^\perp);

とも書ける。

数ベクトル空間における &math(P_V); の具体的な形は、&math(V); の正規直交基底の１つを &math(\set{\bm e_1,\bm e_2,\dots,\bm e_n}); として、

&math(
P_V&=\sum_{k=1}^n \bm e_k\bm e_k^\dagger\\
   &=\sum_{k=1}^n \bm e'_k\bm e'_k^\dagger\\
);

と表せる。ただし &math(\set{\bm e'_k}); は別の正規直交基底で、演算子の形は基底の取り方に寄らず同じになる。
と表せる。ただし &math(\set{\bm e'_k}); は別の正規直交基底で、演算子の形は基底の取り方に依らず同じになる。

&math(U=W_1\oplus W_2\oplus\dots\oplus W_r); のように多数の空間に別れているときは、例えば

&math(U=W_1\oplus \underbrace{W_2\oplus\dots\oplus W_r}_{W_1^\perp}=W_1\oplus W_1^\perp);

である。

任意のベクトルの &math(W_1); 成分は他の &math(W_k'); の取り方に寄らず決定されるため、
射影演算子は上記のように &math(W_1); に取った正規直交基底のみによって定義される。

[[前の単元 ＜＜＜>線形代数Ⅱ/内積と計量空間]]
　　　　　　　　　　　　　　　[[線形代数Ⅱ]]
　　　　　　　　　　　　　　　[[＞＞＞ 次の単元>線形代数Ⅱ/固有関数・固有空間・スペクトル分解]]

* 質問・コメント [#m8a71c0e]

#article_kcaptcha
Counter: 138614 (from 2010/06/03), today: 5, yesterday: 0