矩阵的奇异值分解.docx

§2矩阵的奇异值分解

定义设是秩为的复矩阵，的特征值为
.
则称为A的奇异值.
易见，零矩阵的奇异值都是零，矩阵的奇异值的个数等于的列数，的非零奇异值的个数等于其秩.
矩阵的奇异值具有如下性质：
（1）为正规矩阵时，的奇异值是的特征值的模；
（2）为半正定的Hermite矩阵时，的奇异值是的特征值；
（3）若存在酉矩阵，矩阵，使，则称A和B酉等价.酉等价的矩阵A和B有相同的奇异值.

奇异值分解定理设是秩为的复矩阵，则存在m阶酉矩阵与n阶酉矩阵，使得
.①
其中，为矩阵的全部非零奇异值.
证明设Hermite矩阵的n个特征值按大小排列为
.
则存在n阶酉矩阵，使得
.②
将分块为，
其中，分别是的前r列与后列.
并改写②式为
.
则有
.③
由③的第一式可得
.
由③的第二式可得
.
令，则，即的r个列是两两正交的单位向量.记作，因此可将扩充成的标准正交基，记增添的向量为，并构造矩阵，则

是m阶酉矩阵,且有.
于是可得
.
由①式可得
.④
称④式为矩阵的奇异值分解.
值得注意的是：在奇异值分解中是的特征向量，而的列向量是的特征向量，并且与的非零特征值完全相同.但矩阵的奇异值分解不惟一.

证明2设Hermite矩阵的n个特征值按大小排列为
.
则存在n阶酉矩阵，使得
.②
将分块为，它的n个列是对应于特征值的标准正交的特征向量.
为了得到酉矩阵U，首先考察中的向量组，由于当i不等于j时有

所以向量组是中的正交向量组.
又，
所以.
令，，则得到中的标准正交向量组，把它扩充成为中的标准正交基，令

则U是m阶酉矩阵.由已知及前面的推导可得
，；，；
从而

故有，即.

求矩阵的奇异值分解.
解的特征值为，
对应的单位特征向量依次为.
所以.
于是可得
，.
计算，则的奇异值分解为
.

在A的奇异值分解中，酉矩阵V的列向量称为A的右奇异向量，V的前r列是的r个非零特征值所对应的特征向量，将他们取为矩阵V1，则.酉矩阵U的列向量被称为A的左奇异向量，将U从前r列处分块为，由分块运算，有

从而.
因此，有下列结果
（1）的列向量组是矩阵A的零空间的一组标准正交基；
（2）的列向量组是矩阵A的列空间的一组标准正交基；
（1）的列向量组是矩阵A的零空间正交补的一组标准正交基；
（1）的列向量组是矩阵A的列空间正交补的一组标准正交基.

在A的奇异值分解中，酉矩阵U和V不是惟一的.A的奇异值分解给出了矩阵A的许多重要信息.
更进一步，由于，，可借助于奇异值分解，将A表示为

归纳这一结果，有如下定理.
定理设，A的非零奇异值为，是应于奇异值的左奇异向量，是应于奇异值的右奇异向量，则
.
上式给出的形式被称为矩阵A的奇异值展开式，对一个，略去A的一些小的奇异值对应的项，去矩阵为
.
则是一个秩为k的m×n矩阵.可以证明，是在所有秩为k的m×n矩阵中，从Frobenius范数的意义下，与矩阵A距离最近的一个矩阵.这在实际中应用广泛.例如，在图像数字化技术中，一副图片可以转换成一个m×n阶像素矩阵来储存，存储量m×n是个数.如果利用矩阵的奇异值展开式，则只要存储A的奇异值，奇异向量的分量，总计r（m+n+1）个数.取m=n=1000，r=100作一个比较，
m×n=1000000，r（m+n+1）=100（1000+1000+1）=200100.
取A的奇异值展开式，，存储量较A的元素情形减少了80%.另外，可取，用逼近A，能够达到既压缩图像的存储量，又保持图像不失真的目的.

由矩阵的奇异值分解可得

可见，是矩阵的加权和，其中权系数按递减排列
.
显然，权系数大的那些项对矩阵的贡献大，因此当舍去权系数小的一些项后，仍然能较好的“逼近”矩阵，这一点在数字图像处理方面非常有用.
矩阵的秩k逼近定义为

秩r逼近就精确等于，而秩1逼近的误差最大.
矩阵的奇异值分解不但在线性方程组，矩阵范数，广义逆，最优化等方面有着广泛的应用.而且在数字计算，数字图像处理，信息检索，心里学等领域也有着极重要的应用.有兴趣的读者可参阅有关教科书，如StevenJ.Leon的《线性代数》.

３矩阵Ａ的奇异值分解与线性变换
设A是一个秩为r的m×n复矩阵，即，，则由可以定义线性变换
.
设矩阵A有奇异值分解，则将矩阵的列向量组取作空间的标准正交基；则将矩阵的列向量组取作空间的标准正交基，则在所取的基下，线性变换对应的变换矩阵就是.
设，在基下坐标向量为，.那么在线性变换下的像具有形式：
.
其中是A的非零奇异值，所以，的像在中基下的坐标是
.
从中可以看出，当时，在取定的基下，线性变换的作用是将原像坐标中的前r个分量分别乘以A的非零奇异值，后（n-r）分量化为零.如果原像坐标满足条件：
，
则像坐标满足条件：
.
在时，等式成立.因此，有如下定理.