正交变换

1. 正交變換${\displaystyle T}$不會改變向量間的正交性，如果${\displaystyle \mathbf {u} }$和${\displaystyle \mathbf {v} }$正交，則${\displaystyle T({\displaystyle \mathbf {u} })}$和${\displaystyle T({\displaystyle \mathbf {v} })}$亦為正交。

${\displaystyle Proof:}$

根據畢氏定理，正交變換後的向量會符合下式：

${\displaystyle \|T(\mathbf {u} )+T(\mathbf {v} )\|^{2}=\|T(\mathbf {u} )\|^{2}+\|T(\mathbf {v} )\|^{2}}$

因為正交變換屬於線性轉換：

${\displaystyle \|T(\mathbf {u} )+T(\mathbf {v} )\|^{2}=\|T(\mathbf {u} +\mathbf {v} )\|^{2}}$

正交變換前後向量的長度相同：

${\displaystyle \|T(\mathbf {u} )+T(\mathbf {v} )\|^{2}=\|\mathbf {u} +\mathbf {v} \|^{2}}$

再根據畢氏定理，且和正交：

${\displaystyle \|\mathbf {u} +\mathbf {v} \|^{2}=\|\mathbf {u} \|^{2}+\|\mathbf {v} \|^{2}}$

再根據正交變換的性質，正交變換前後向量的長度相同：

${\displaystyle \|\mathbf {u} \|^{2}+\|\mathbf {v} \|^{2}=\|T(\mathbf {u} )\|^{2}+\|T(\mathbf {v} )\|^{2}}$

2. 如果${\displaystyle \mathbf {A} }$和${\displaystyle \mathbf {B} }$皆為正交矩陣，則${\displaystyle \mathbf {AB} }$亦為正交矩陣。

${\displaystyle Proof:}$

令一正交變換為：

${\displaystyle T(\mathbf {x} )=\mathbf {ABx} }$

正交變換後長度不變：

${\displaystyle \|T(\mathbf {x} )\|=\|\mathbf {ABx} \|=\|\mathbf {A(Bx)} \|=\|\mathbf {Bx} \|=\|\mathbf {x} \|}$

3. 如果${\displaystyle \mathbf {A} }$為正交矩陣，${\displaystyle \mathbf {A} }$的反矩陣${\displaystyle \mathbf {A} ^{-1}}$亦為正交矩陣。

${\displaystyle Proof:}$

令一正交變換為：

${\displaystyle T(\mathbf {x} )=\mathbf {Ax} }$

單位矩陣${\displaystyle \mathbf {I} }$和${\displaystyle \mathbf {x} }$相乘為${\displaystyle \mathbf {x} }$自己，且矩陣和反矩陣相乘為單位矩陣：

${\displaystyle \mathbf {Ix} =\mathbf {AA^{-1}x} =\mathbf {x} }$

正交變換後長度不變：

${\displaystyle \|\mathbf {AA^{-1}x} \|=\|\mathbf {A(A^{-1}x)} \|=\|\mathbf {x} \|}$

4. 正交變換容易做反運算

${\displaystyle Proof:}$

令ㄧ正交矩陣${\displaystyle \mathbf {A} }$，${\displaystyle \mathbf {A} }$和${\displaystyle \mathbf {A} ^{H}}$相乘為一對角矩陣${\displaystyle \mathbf {D} }$，其中上標${\displaystyle H}$表示Hermitain運算。

${\displaystyle \mathbf {A} \mathbf {A} ^{H}=\mathbf {D} }$

將${\displaystyle \mathbf {D} }$乘上自己的反矩陣${\displaystyle \mathbf {D} ^{-1}}$可得一單為矩陣${\displaystyle \mathbf {I} }$。

${\displaystyle \mathbf {D} \mathbf {D} ^{-1}=\mathbf {I} }$

又${\displaystyle \mathbf {D} }$可分解為${\displaystyle \mathbf {A} }$和${\displaystyle \mathbf {A} ^{H}}$

${\displaystyle \mathbf {A} \mathbf {A} ^{H}\mathbf {D} ^{-1}=\mathbf {I} }$

根據上式，將兩側乘上${\displaystyle \mathbf {A} }$的反矩陣${\displaystyle \mathbf {A} ^{-1}}$即可得知的反矩陣知公式。

${\displaystyle \mathbf {A} ^{-1}=\mathbf {A} ^{H}\mathbf {D} ^{-1}}$

計算${\displaystyle \mathbf {D} }$的反矩陣${\displaystyle \mathbf {D} ^{-1}}$比直接求反矩陣容易，只要相對角線之值做倒數即可。如果${\displaystyle \mathbf {A} ^{T}}$的每一行皆為單位向量，則：

${\displaystyle \mathbf {A} ^{-1}=\mathbf {A} ^{H}}$

5. 對於正交變換${\displaystyle T}$，如果${\displaystyle \mathbf {u} }$和${\displaystyle \mathbf {v} }$可以做內積，${\displaystyle T({\displaystyle \mathbf {u} })}$和${\displaystyle T({\displaystyle \mathbf {v} })}$做內積之值等於${\displaystyle \mathbf {u} }$和${\displaystyle \mathbf {v} }$做內積之值。[2]

${\displaystyle Proof:}$

根據極化恆等式：

${\displaystyle \langle {\mathbf {x} ,\mathbf {y} }\rangle ={\frac {1}{4}}(\|\mathbf {x} +\mathbf {y} \|^{2}-\|\mathbf {x} -\mathbf {y} \|^{2})}$

將上式代入${\displaystyle T({\displaystyle \mathbf {u} })}$和${\displaystyle T({\displaystyle \mathbf {v} })}$：

${\displaystyle \langle {T(\mathbf {u} ),T(\mathbf {v} )}\rangle ={\frac {1}{4}}(\|T(\mathbf {u} )+T(\mathbf {v} )\|^{2}-\|T(\mathbf {u} )-T(\mathbf {v} )\|^{2})}$

因為${\displaystyle T}$為線性轉換，轉換前做加減法和轉換後做加減法之值應相同：

${\displaystyle \langle {T(\mathbf {u} ),T(\mathbf {v} )}\rangle ={\frac {1}{4}}(\|T(\mathbf {u} +\mathbf {v} )\|^{2}-\|T(\mathbf {u} -\mathbf {v} )\|^{2})}$

正交變換前後向量的長度相同：

${\displaystyle \langle {T(\mathbf {u} ),T(\mathbf {v} )}\rangle ={\frac {1}{4}}(\|\mathbf {u} +\mathbf {v} \|^{2}-\|\mathbf {u} -\mathbf {v} \|^{2})}$

再根代入${\displaystyle \mathbf {u} }$和${\displaystyle \mathbf {v} }$之據極化恆等式：

${\displaystyle \langle {T(\mathbf {u} ),T(\mathbf {v} )}\rangle =\langle {\mathbf {u} ,\mathbf {v} }\rangle }$

正交變換的種類非常的廣，像是discrete Fourier transform、discrete cosine, sine, Hartley transforms、Walsh Transform, Haar Transform等都屬於正交變換。對矩陣做旋轉或是鏡射也屬於正交變換。這裡會舉出一些簡單的正交變換例子。

1. 對於${\displaystyle reflect_{V}()}$以subspace ${\displaystyle V}$為基準做鏡射(${\displaystyle V}$ in ${\displaystyle R^{n}}$)，令${\displaystyle \mathbf {x} ^{\shortparallel }}$為平行之向量，${\displaystyle \mathbf {x} ^{\perp }}$為正交之向量[2]：

${\displaystyle \|reflect_{V}(\mathbf {x} )\|^{2}=\|\mathbf {x} ^{\shortparallel }-\mathbf {x} ^{\perp }\|^{2}}$

因為${\displaystyle \mathbf {x} ^{\shortparallel }}$和${\displaystyle \mathbf {x} ^{\perp }}$互為正交，可以根據畢氏定理做分解：

${\displaystyle \|reflect_{V}(\mathbf {x} )\|^{2}=\|\mathbf {x} ^{\shortparallel }\|^{2}+\|-\mathbf {x} ^{\perp }\|^{2}=\|\mathbf {x} ^{\shortparallel }\|^{2}+\|\mathbf {x} ^{\perp }\|^{2}=\|\mathbf {x} \|^{2}}$

2. 這裡以DFT為例證明DFT矩陣為正交矩陣，對於${\displaystyle N}$點DFT，可得一個${\displaystyle N\times N}$矩陣，且${\displaystyle \omega ^{n}=e^{j2\pi n/N}}$：

${\displaystyle \mathbf {W} ={\frac {1}{\sqrt {N}}}{\begin{bmatrix}1&1&1&\cdots &1\\1&\omega &\omega ^{2}&\cdots &\omega ^{N-1}\\1&\omega ^{2}&\omega ^{4}&\cdots &\omega ^{2(N-1)}\\\cdots &\cdots &\cdots &\cdots &\cdots \\1&\omega ^{N-1}&\omega ^{2(N-1)}&\cdots &\omega ^{(N-1)(N-1)}\end{bmatrix}}}$

${\displaystyle \mathbf {W} }$為symmetric矩陣，令的${\displaystyle \mathbf {W} }$每個列為：

${\displaystyle \mathbf {w} _{n}={\begin{bmatrix}1&\omega ^{n}&\omega ^{2}n&\cdots &\omega ^{(N-1)n}\end{bmatrix}}}$

令任意二列做內積：

${\displaystyle \langle {\mathbf {w} _{m},\mathbf {w} _{n}}\rangle =\mathbf {w} _{m}\centerdot \mathbf {w} _{n}^{H}={\frac {1}{N}}\textstyle \sum _{k=0}^{N-1}e^{j2\pi km/N}e^{-j2\pi kn/N}\displaystyle ={\frac {1}{N}}\textstyle \sum _{k=0}^{N-1}e^{j(2\pi km/N)(m-n)}\displaystyle }$

上式可以化成pulse function，只有列和自己做內積才為${\displaystyle 1}$，即：

${\displaystyle \langle {\mathbf {w} _{m},\mathbf {w} _{n}}\rangle ={\begin{cases}1,&{\text{if }}m=n\\0,&{\text{if }}m\neq n\end{cases}}}$

3. 正交變換可以參數計算變得容易，令${\displaystyle \phi _{n}}$為正交矩陣的列，列彼此互相正交，${\displaystyle c_{n}}$而為${\displaystyle \phi _{n}}$對應之參數，即給定下式中的${\displaystyle y}$和${\displaystyle \phi _{n}}$，參數${\displaystyle c_{n}}$之值可以很容易的計算出來。

${\displaystyle y=\textstyle \sum _{n=0}^{N-1}c_{n}\phi _{n}\displaystyle }$

如果要求出${\displaystyle c_{m}}$，則將上式與${\displaystyle \phi _{m}}$做內積：

${\displaystyle \langle y,\phi _{m}\rangle =\textstyle \sum _{n=0}^{N-1}c_{n}\langle \phi _{n},\phi _{m}\rangle \displaystyle }$

因為在${\displaystyle n\neq m}$時，${\displaystyle \phi _{n}}$和${\displaystyle \phi _{m}}$做內積為0，可得下式：

${\displaystyle \langle y,\phi _{m}\rangle =c_{m}\langle \phi _{m},\phi _{m}\rangle }$

最後同除${\displaystyle \langle \phi _{m},\phi _{m}\rangle }$即可得到對應之參數：

${\displaystyle c_{m}={\frac {\langle y,\phi _{m}\rangle }{\langle \phi _{m},\phi _{m}\rangle }}}$

4. 在訊號壓縮上，對於原始訊號：

${\displaystyle y=\textstyle \sum _{n=0}^{N-1}c_{n}\phi _{n}\displaystyle }$

假設進行壓縮，要壓縮成：

${\displaystyle {\hat {y}}=\textstyle \sum _{n=0}^{K-1}c_{n}\phi _{n}\displaystyle }$

當${\displaystyle K\leq N}$時，${\displaystyle K}$越大，${\displaystyle |y-{\hat {y}}|}$越小

5. 在通訊應用上，會利用正交基來和訊號做調變，正交的特性會使通道間不會互相干擾。

• 瑕旋转
• 内积空间
• 线性变换
• 正交矩阵
• 酉变换

3. Ding, J. J. (2017). Advanced Digital Signal Processing [Powerpoint slides] http://djj.ee.ntu.edu.tw/ADSP15.pdf （页面存档备份，存于）

4. Chang, C.H. (2004). Linear Algebra [PDF slides] http://staff.csie.ncu.edu.tw/chia/Course/LinearAlgebra/sec5-3.pdf （页面存档备份，存于）

5. (2007). [PDF slides] http://isites.harvard.edu/fs/docs/icb.topic138287.files/Lesson15_-_Orthogonal_Transformations_and_Orthogonal_Matrices_slides.pdf