奇异值分解

1. 矩阵范数的概念 设A∈Cm×n，定义一个实值函数||A||，若满足：(1) 非负性：||A||≥0，且||A||=0当且仅当A=0； (2) 齐次性：||aA||=|a| ||A||，a∈C； (3) 三角不等式：||A+B||≤||A||+||B||，A,B∈ Cm×n; (4) 相容性：||AB||≤||A|| ||B||则称||A||为A的矩阵范数。 例1 设A=(aij)∈Cn×n，则都是定理2：由向量的1-范数、2-范数和∞-范数分别诱导出的矩阵范数分别是通常依次称为列和范数、谱范数和行和范数。定理3：谱范数和F-范数都是酉不变范数，即对于任意酉矩阵P和Q，有||PAQ||=||A||。

Accelerated Training and Large Data Sets 不过我没有用过Matlab+GPU，如果是CPU多线程的话直接设置worker数量就可以了，GPU需要另外学习一套函数。

矩阵sparse一下试试 svds

因为r(A)=n-1，所以基础解系由一个非零解向量组成，4个选项的向量都是解向量，只有α1-α2一定非零

Jacobi算法的核心思想就是让非对角部分逐渐减小。单边Jacobi算法等价于对A^TA作Jacobi算法，直接理解的话相当于让AV^T的列逐渐正交。粗看了一下，这本书原理讲得比较少，次序也不太合理。你先要把Hermite矩阵的Jacobi算法搞懂，先试试看这本书的8.4.3节，如果还看不懂的话去找一本矩阵计算的书专门看Jacobi算法。

奇异值（我没听说过,别处粘来的）：对于一个实矩阵A（m×n阶）,如果可以分解为A＝USV",其中U和V为分别为m×n与n×m阶正交阵,S为n×n阶对角阵,且S＝diag（a1,a2,...,ar,0,...,0）.且有a1>=a2>=a3>=...>=ar>=0.那么a1,a2,...,ar称为矩阵A的奇异值.A的奇异值为A"A的特征值的平方根（A"表示A的转置矩阵）,通过此可以求出奇异值.这道题的话就算出A和A的转置的乘积,得到 （4,4；4,4）特征值是8,0,那么奇异值是两倍根号2

奇异值表示相应的部分构成的矩阵具有的能量可以代表原来的整个矩阵，

非满秩矩阵X 首先载体优化为（X转置X），进行特征分解成POP转置，保留P。O的特征根的对角阵在作另一种载体优化（XX转置），进行特征分解成QRQ转置，保留Q。R是特征根对角阵O和R的差别只在维度上，非零对角线的特征值是一样的。所以X=PWQ转制，W是非零对角线特征值的平方根，组成的对角阵。

酉矩阵U的保范性是只对任意复向量x有||Ux||=||x||理由很简单：||Ux||^2=(Ux)^T(Ux)=x^TU^TUx=x^Tx=||x||^2其中x^T代表转置，中间用到U^TU=I

安装并运行matlab软件；2在命令行窗口输入需要进行奇异值分解的矩阵，并输入矩阵求秩及求奇异值的公式，如下图；3单击回车键，求得奇异值分解得到的U、S、V矩阵；4若要查看之前输入的求解矩阵及所求得的相关变量，从右侧工作区窗口进行查看；5分别单击所要查看的变量名进行查看；

是解线性方程组Ax=B吗，如果A是非奇异阵，那比奇异阵要简单多了，可以用高斯消元法、列主元消去法、LU分解法等多种方法，如果主对角线绝对占优，还可以用迭代法。任何一本计算方法或数值分析的教材中都有。希望可以帮到你，不明白可以追问，如果解决了问题，请点下面的"选为满意回答"按钮，谢谢。

亲们早安、午安、晚安，上一篇 主成分分析法(PCA)等降维(dimensionality reduction)算法-Python 主要是了解了PCA的原理和基于Python的基本算法实现，本文主要是学习scikit-learn (sklearn)中关于降维(dimensionality reduction)的一些模型，侧重于PCA在sklearn中的实现。 在sklearn中的 Dimensionality Reduction 中，包含的降低特征维度的方法包括主成分分析法 PCA （这里面又包括不同类型的PCA方法，一般的 PCA ， KernelPCA , SparsePCA , TruncatedSVD , IncrementalPCA ）、因子分析法 FA （factor analysis）、独立成分分析 ICA 等 这个方法主要是利用上一篇 主成分分析法(PCA)等降维(dimensionality reduction)算法-Python 中的方法，基于奇异值分解（Singular Value Decomposition）来线性降维到低维度的空间。 啥？怎么跑出来个奇异值分解SVD？这是线性代数里的名词，关于线性代数的知识，推荐查看 网易公开课里的麻省理工线性代数课程 ，里面有关于SVD的详细计算。当然，如果想知道SVD的几何意义，我觉得 We Recommend a Singular Value Decomposition 非常好，图文并茂，极力推荐，由此也进一步理解了主成分分析PCA。 首先考虑对角矩阵如M,如果M与一个向量（x,y）相乘如图1，表示将(x,y)进行长度的变化如图2： 根据图2的变化可知，对角矩阵M的作用是将水平垂直网格作水平拉伸（或者反射后水平拉伸）的线性变化。 如果M是图3中的对称矩阵，那么它和向量(x,y)相乘后，也可以找到一组网格线（如图4） 看着图4有点蒙圈，貌似不是简单的线性变化，辣么，先把图4中左边图旋转45度，然后再乘以M，然后得到下面的情况： 图5表明，先旋转45度，然后再和M相乘，此时又可以只进行简单的拉伸变化。 对比图4-5，当原始矩阵乘以对称矩阵时，不一定还是进行线性变化（只在一个方向进行伸缩变化），除非这个映射时，两边的正交网络是一致的。 再比如更加一般的非对称非对角矩阵M（如图6）： 观察图7，对于任意一个向量，当一个一般矩阵M作用在其上面时，很难只是做线性变化。但是，我们可以如图7最下面一行的变化，找一组网格，找两个正交向量来表示向量。对角矩阵Σ对角线上的取值σ_1，σ_2就是矩阵M的奇异值。 综上所述：奇异值分解SVD几何意义：对于任何的一个矩阵，我们要找到一组两两正交单位向量序列，是的矩阵作用在此向量序列后得到新的向量序列保持两两正交。奇异值的几何意义：这组变化后的新的向量序列的长度。从图10中看到，奇异值分解和特征值求解很相似，但是特征值必须是方阵才存在，但任何矩阵都可以进行奇异值分解。 好啦，奇异值分解SVD差不多搞清楚了，为啥要进行奇异值分解，其实它表现的就像PCA的意义那样，用这些关键较少数量的奇异值（奇异向量）来表示原来可能比较庞大的东东，因此，在图像压缩等方向应用的比较多。如下： 比如，图11是一个15*25的图片，其像素组成是图12中的M矩阵 结果计算发现，图12中M的非零奇异值只有三个：σ1= 14.72；σ2= 5.22；σ3= 3.31 那么，根据上面奇异值几何意义，其实图11中的图片是可以用这三个奇异值向量来表示的： M = u 1σ1 v 1^T+ u 2σ2 v 2^T+ u 3σ3 v 3^T,，这一将原来可能要对375个像素点的计算变为123个像素点的计算。还有个问题需要强调，可能实际图片不像图11中那样纯粹，可能存在噪声，如图13（图中出现的那些灰色的地方表示噪声） 图13中像素矩阵得到的奇异值为：σ1= 14.15；σ2= 4.67；σ3= 3.00；σ4= 0.21；σ5= 0.19... σ15= 0.05等，但是看到还是前三个特征值比较大，因此，继续用σ1，σ2，σ3表示该图片，其他的奇异值舍去，最终得到新的图片见图14，显然图14中噪声变少了。 关于SVD的这个奇异的理解(同时包含PCA于SVD的联系)，下面 知乎大牛的解释 可能更清楚点： (2) 简单PCA模型 class sklearn.decomposition.PCA(n_components=None, copy=True, whiten=False, svd_solver="auto", tol=0.0, iterated_power="auto", random_state=None)n_components ->表示最终要保留的主成分特征数，如果不设置，则保留全部特征whiten ->是否进行白化，默认为false。啥是白化？因为我们在PCA中，保留主要的特征来计算决策，因此难免有误差，为了降低误差，通过白化来降低特征值之间的相关性，使其协方差矩阵变为对角矩阵。具体，来自 知乎大牛关于PCA白化的解释 很详细，请参考下图17： 在PCA中，原始数据如图17最左边的红色图表示；然后用原始矩阵减去均值，然后求解协方差矩阵，将数据依据协方差矩阵方差最大的轴进行旋转，得到图17中部绿色显示内容；然后进行白化whiten，就是白化操作的输入是特征基准上的数据，然后对每个维度除以其特征值来对数值范围进行归一化。如果数据服从多变量的高斯分布，那么经过白化后，数据的分布将会是一个均值为零，且协方差相等的矩阵（及单位协方差矩阵），如图17中最右边蓝色图示。 svd_solver ->指定奇异值分解SVD的方法，由于特征分解是奇异值分解SVD的一个特例，一般的PCA库都是基于SVD实现的。有4个可以选择的值：{‘auto", ‘full", ‘arpack", ‘randomized"}。randomized一般适用于数据量大(数据量超过500*500)，数据维度多同时主成分比例又较低(低于80%)的PCA降维，它使用了一些加快SVD的随机算法。 full则是传统意义上的SVD，使用了scipy库对应的实现。arpack和randomized的适用场景类似，区别是randomized使用的是scikit-learn自己的SVD实现，而arpack直接使用了scipy库的sparse SVD实现。默认是auto，即PCA类会自己去在前面讲到的三种算法里面去权衡，选择一个合适的SVD算法来降维。一般来说，使用默认值就够了。 举栗子1： 篇幅有限（其实是能力+精力有限，捂脸），sklearn中的PCA模型先介绍到这里，以后再深入研究。希望内容对大家有所帮助，也希望大牛不吝赐教。

奇异值分解有两种用法，一是：s=svd(A),得出的s是列矢量；二是：[u,s,v]=svd(A),得出的s是一个对角矩阵，对角线上的元素就是奇异值。你的程序就可能是后一种情形。

所有开源的软件(例如Linux发行版)里面必然包含数学/代数学的软件包当然，可以到官方网站下载http://www.netlib.org/lapack/lapack---完整的矩阵/数值运算的软件包。其中c语言的部分叫做Clapack。网上一搜，一堆一堆的，看文档可以知道如何使用。很详细!!!!!!!!

奇异值分解是线性代数中一种重要的矩阵分解，在信号处理、统计学等领域有重要应用。奇异值分解在某些方面与对称矩阵或Hermite矩阵基于特征向量的对角化类似。然而这两种矩阵分解尽管有其相关性，但还是有明显的不同。对称阵特征向量分解的基础是谱分析，而奇异值分解则是谱分析理论在任意矩阵上的推广。在MATLAB中的话！其目的应该是用来把线性方程组的系数距阵或推广距阵化为下三角型！最终目的是求解线性方程组 尽我所能了哈！不一定对！因为我学“数据结构”和“数学实验”已经很久了！！！

特征值分解和奇异值分解的区别所有的矩阵都可以进行奇异值分解，而只有方阵才可以进行特征值分解。当所给的矩阵是对称的方阵，A(T)=A，二者的结果是相同的。也就是说对称矩阵的特征值分解是所有奇异值分解的一个特例。但是二者还是存在一些小的差异，奇异值分解需要对奇异值从大到小的排序，而且全部是大于等于零。对于特征值分解[v,d]=eig(A),即A=v*d*inv(v)对于奇异值分解,其分解的基本形式为[u,s,v]=svd(C),C=u*s*v".若C阵为对称的方阵,则有u=v;所以有C=v*s*v";

是的

特征值分解和奇异值分解的区别所有的矩阵都可以进行奇异值分解，而只有方阵才可以进行特征值分解。当所给的矩阵是对称的方阵，A(T)=A，二者的结果是相同的。也就是说对称矩阵的特征值分解是所有奇异值分解的一个特例。但是二者还是存在一些小的差异，奇异值分解需要对奇异值从大到小的排序，而且全部是大于等于零。对于特征值分解 [v,d] = eig( A ) , 即 A = v*d*inv(v)对于奇异值分解,其分解的基本形式为 [u,s,v] = svd(C), C = u*s*v". 若C阵为对称的方阵, 则有 u = v; 所以有 C = v*s*v";

奇异值分解有两种用法，一是：s=svd(A),得出的s是列矢量；二是：[u,s,v]=svd(A),得出的s是一个对角矩阵，对角线上的元素就是奇异值。你的程序就可能是后一种情形。

标题里的问题是不可能出现的, 不过你描述的问题是有可能的, 说明你算错了首先要注意, 尽管不同的矩阵不可能有相同的SVD, 但对于同一个矩阵来讲, SVD不是唯一的比较简单的情况, A=∑σ_i v_i u_i^T, 可以看出即使没有重奇异值v_i和u_i也可能不唯一, 比如(v_i*z)(u_i^T/z)也满足条件, 其中z是单位复数有重奇异值的时候U和V松动的余地更大所以我估计你的算法里U和V是分开算的, 并没有互相故及对方

假设M是一个m×n阶矩阵，其中的元素全部属于域 K，也就是 实数域或复数域。如此则存在一个分解使得M = UΣV*，其中U是m×m阶酉矩阵；Σ是半正定m×n阶对角矩阵；而V*，即V的共轭转置，是n×n阶酉矩阵。这样的分解就称作M的奇异值分解。Σ对角线上的元素Σi,i即为M的奇异值。常见的做法是为了奇异值由大而小排列。如此Σ便能由M唯一确定了。(虽然U和V仍然不能确定。)奇异值分解在某些方面与对称矩阵或Hermite矩阵基于特征向量的对角化类似。然而这两种矩阵分解尽管有其相关性，但还是有明显的不同。对称阵特征向量分解的基础是谱分析，而奇异值分解则是谱分析理论在任意矩阵上的推广。

JacobiSVD<MatrixXd> svd(m, ComputeThinU | ComputeThinV);MatrixXd V = svd.matrixV();MatrixXd U = svd.matrixU();

非负矩阵分解与奇异值分解的优点：对称阵特征向量分解的基础是谱分析，而奇异值分解则是谱分析理论在任意矩阵上的推广。缺点：存在一些小的差异，奇异值分解需要对奇异值从大到小的排序，而且全部是大于等于零。所有的矩阵都可以进行奇异值分解，而只有方阵才可以进行特征值分解。当所给的矩阵是对称的方阵，A(T)=A，二者的结果是相同的。也就是说对称矩阵的特征值分解是所有奇异值分解的一个特例。从多元统计的观点看NMF是在非负性的限制下，在尽可能保持信息不变的情况下，将高维的随机模式简化为低维的随机模式H，而这种简化的基础是估计出数据中的本质结构W；从代数的观点看，NMF是发现数据的一种内在非负(或蕴涵更多性质的)代数分解形式或表示方法。从维数约减的观点看，因为基矩阵W和系数矩阵H同时由NMF来确定，系数矩阵H并非为数据矩阵V在W上的投影，所以NMF实现的是非线性的维数约减。

奇异值分解有两种用法，一是：s=svd(A),得出的s是列矢量；二是：[u,s,v]=svd(A),得出的s是一个对角矩阵，对角线上的元素就是奇异值。你的程序就可能是后一种情形。

大数据定义 数据被定义为过于巨大的数据集合，以至于变得难以使用传统技术来处理。大数据的大体现在三个方面： 使用如此之多的维度进行工作的复杂性驱动了各种各样的数据技术的需求来过滤信息，让数据看起来能更好的解决问题。过滤器通过移除高纬度数据集中的冗余信息来降低维度。 我们可以把将为理解为对数据的信息压缩，类似于压缩1000 1000的图像到64 64分辨率，同样也是能够理解图片的意思的。 在大数据降维的核心算法SVD，我们称之为奇异值分解。SVD的公式是： 这个公式的含义是，原始数据矩阵M被分解为三个矩阵的乘积。 最关键的是要理解s所代表的意思，比如s所有元素的和事100，s的第一个值是99，这就意味99%的信息储存在了U和Vh的第一列中。因此你可以愉快的抛弃第一列之后的所有剩余列，而又不会丢失数据的重要信息，只丢失了1%的信息，对数据来说并不太重要。 这个例子中需要降维的数据M，包含4个样例，每个样例包括3个特征值。下面我们就使用linalg模块的svd函数，进行分解矩阵： 通过s里的值可以看出第一列包含了大部分信息（超过80%）。第二列有些值（大约14%），第三列则包含了参与的信息。 当然svd公式是可逆的，就是分解出来的这三个矩阵还能通过点乘还原原始的矩阵。注意，矩阵s实际上是对角矩阵，还原的时候要使用对角矩阵参与运算。 可以看出还原之后的back_M和之前的M矩阵是一样的。 SVD输出的三个矩阵入手，想办法去除第三列的内容。U取U[:,:2]，变成(4,2),s取s[:2]，变成了(2,)，Vh取Vh[:2,:]，变成了(2,3) 可以看出即使丢失最后一列的数值，还原之后和过去相比有一些差别，但是并不是很大。也是就是说可以用更少的维度取保存过去的值。 看到这里你可能都有点疑惑，到底是哪里降维了呢？从过去的(4,3)矩阵，变成现在三个矩阵(4,3)(3,)(3,3)，不但维度没有降，而且还增加一些数据。 假如说我们忽略最后一列的信息，变成三个矩阵(4,1),(1,),(1,3)，从过去的4x3=12个数字，变成现在的4+1+3个数字，确实是降了。但是我们应该如何利用这三个矩阵参与机器学习中呢？

svd同样可以用于复数矩阵；另外svd(A)，需要A是一个矩阵

设A为m*n阶矩阵，A"表示A的转置矩阵，A"*A的n个特征值的非负平方根叫作A的奇异值。记为σi(A)。这几天做实验涉及到奇异值分解svd(singular value decomposition)，涉及到这样的一个问题，做PCA时候400幅图像拉成向量按列摆放，结果摆成了比如说10000*400大小的矩阵，用到svd函数进行奇异值分解找主分量，结果MATLAB提示超出内存，后来想起还有个函数叫svds，看到别人用过，以为只是一个变体，没什么区别，就用上了，结果确实在预料之中。但是今天觉得不放心，跑到变量里面看了下，发现这个大的矩阵被分解成了三个10000*6，6*6，400*6大小的矩阵的乘积，而不是普通的svd分解得到的10000*10000，10000*400，400*400大小的矩阵乘积，把我吓了一跳，都得到预期的结果，难不成这里还出个篓子？赶紧试验，发现任给一个M*N大小的矩阵，都是被分解成了M*6，6*6，N*6大小的矩阵的乘积，为什么都会出现6呢？确实很纳闷。help svds看了一下，发现SVDS(A) 返回的就是svds返回的就是最大的6个特征值及其对应的特征行向量和特征列向量，还好，我们实验中是在svds得到列向量中再取前5个最大的列向量，这个与普通的svd得到的结果是一致的，虚惊一场。。。还得到了一些别的，比如改变这个默认的设置，比如用[u,d,v]=svds(A,10)将得到最大的10个特征值及其对应的最大特征行向量和特征列向量，[u,d,v]=svds(A,10，0)将得到最小的10个特征值及其对应的特征行向量和特征列向量，[u,d,v]=svds(A,10，2)将得到与2最接近的10个特征值及其对应的特征行向量和特征列向量。总之，相比svd，svds的可定制性更强。奇异值分解非常有用，对于矩阵A(m*n)，存在U(m*m)，V(n*n)，S(m*n)，满足A = U*S*V"。U和V中分别是A的奇异向量，而S是A的奇异值。AA"的正交单位特征向量组成U，特征值组成S"S，A"A的正交单位特征向量组成V，特征值（与AA"相同）组成SS"。

是的。根据查询相关资料得知，PAC中的奇异值特征值分解只能运用于方阵，对于普通的非方阵就不适用。

不可以，这是由奇异值分解的定义来决定的，而且虽然我们学习的顺序是先学实数后学复数，但是实际上正交的定义是从复数域下简化而来，因为虚部为0才简化成这样，所以在复数域下讨论正交的意义很小。奇异值分解定义的时候用的就是证明了对于m*n矩阵，必存在m阶酉矩阵U和n阶酉矩阵V,S.T U^HAV=S。

特征值和特征向量的定义如下： 其中A是一个 n×n 的矩阵，x 是一个 n 维向量，则我们说λ是矩阵 A 的一个特征值， 而 x 是矩阵 A 的特征值λ所对应的特征向量。求出特征值和特征向量有什么好处呢？ 就是我们可以将矩阵 A 特征分解。如果我们求出了矩阵 A 的 n 个特征值 ，以及矩阵这n个特征值所对应的特征向量 。那么矩阵A就可以用下式的特征分解表示： ，其中 为特征向量组成的矩阵， 是特征值所组成的对角矩阵。特征值分解 的前提条件是A是方阵。如果A不是方阵，这种分解（对角化）将无效。 怎样解决这个问题呢？ 因此出现了奇异值分解。 奇异值分解可表示成： 如何进行奇异值分解呢？？ 奇异值分解性质

这字好像姚强啊喂，题主是某届学长or学姐吗，今年他又把345题扒拉出来当作业了hhh

因为U 和V 向量都是单位化的向量, 我们知道U的列向量u1,...,um组成了K空间的一组标准正交基。同样，V的列向量v1,...,vn也组成了K空间的一组标准正交基(根据向量空间的标准点积法则).线性变换T: K → K，把向量Nx变换为Mx。考虑到这些标准正交基，这个变换描述起来就很简单了: T(vi) = σi ui, for i = 1,...,min(m,n), 其中σi 是对角阵Σ中的第i个元素; 当i > min(m,n)时，T(vi) = 0。这样，SVD理论的几何意义就可以做如下的归纳：对于每一个线性映射T: K → K，T把K的第i个基向量映射为K的第i个基向量的非负倍数,然后将余下的基向量映射为零向量。对照这些基向量，映射T就可以表示为一个非负对角阵。

个人认为数学专业不学，除非你自己感兴趣Sir. Roger Penrose是大神，数学系怎么可能用大神的东西来显示教授们的无知？奇异值分解，数学建模课上学过

整个项目的结构图：编写DetectFaceDemo.java,代码如下：[java] view plaincopyprint?package com.njupt.zhb.test; import org.opencv.core.Core; import org.opencv.core.Mat; import org.opencv.core.MatOfRect; import org.opencv.core.Point; import org.opencv.core.Rect; import org.opencv.core.Scalar; import org.opencv.highgui.Highgui; import org.opencv.objdetect.CascadeClassifier; // // Detects faces in an image, draws boxes around them, and writes the results // to "faceDetection.png". // public class DetectFaceDemo { public void run() { System.out.println(" Running DetectFaceDemo"); System.out.println(getClass().getResource("lbpcascade_frontalface.xml").getPath()); // Create a face detector from the cascade file in the resources // directory. //CascadeClassifier faceDetector = new CascadeClassifier(getClass().getResource("lbpcascade_frontalface.xml").getPath()); //Mat image = Highgui.imread(getClass().getResource("lena.png").getPath()); //注意：源程序的路径会多打印一个‘/"，因此总是出现如下错误 /* * Detected 0 faces Writing faceDetection.png libpng warning: Image * width is zero in IHDR libpng warning: Image height is zero in IHDR * libpng error: Invalid IHDR data */ //因此，我们将第一个字符去掉 String xmlfilePath=getClass().getResource("lbpcascade_frontalface.xml").getPath().substring(1); CascadeClassifier faceDetector = new CascadeClassifier(xmlfilePath); Mat image = Highgui.imread(getClass().getResource("we.jpg").getPath().substring(1)); // Detect faces in the image. // MatOfRect is a special container class for Rect. MatOfRect faceDetections = new MatOfRect(); faceDetector.detectMultiScale(image, faceDetections); System.out.println(String.format("Detected %s faces", faceDetections.toArray().length)); // Draw a bounding box around each face. for (Rect rect : faceDetections.toArray()) { Core.rectangle(image, new Point(rect.x, rect.y), new Point(rect.x + rect.width, rect.y + rect.height), new Scalar(0, 255, 0)); } // Save the visualized detection. String filename = "faceDetection.png"; System.out.println(String.format("Writing %s", filename)); Highgui.imwrite(filename, image); } } package com.njupt.zhb.test;import org.opencv.core.Core;import org.opencv.core.Mat;import org.opencv.core.MatOfRect;import org.opencv.core.Point;import org.opencv.core.Rect;import org.opencv.core.Scalar;import org.opencv.highgui.Highgui;import org.opencv.objdetect.CascadeClassifier;//// Detects faces in an image, draws boxes around them, and writes the results// to "faceDetection.png".//public class DetectFaceDemo { public void run() { System.out.println(" Running DetectFaceDemo"); System.out.println(getClass().getResource("lbpcascade_frontalface.xml").getPath()); // Create a face detector from the cascade file in the resources // directory. //CascadeClassifier faceDetector = new CascadeClassifier(getClass().getResource("lbpcascade_frontalface.xml").getPath()); //Mat image = Highgui.imread(getClass().getResource("lena.png").getPath()); //注意：源程序的路径会多打印一个‘/"，因此总是出现如下错误/** Detected 0 faces Writing faceDetection.png libpng warning: Image* width is zero in IHDR libpng warning: Image height is zero in IHDR* libpng error: Invalid IHDR data*/ //因此，我们将第一个字符去掉 String xmlfilePath=getClass().getResource("lbpcascade_frontalface.xml").getPath().substring(1); CascadeClassifier faceDetector = new CascadeClassifier(xmlfilePath); Mat image = Highgui.imread(getClass().getResource("we.jpg").getPath().substring(1)); // Detect faces in the image. // MatOfRect is a special container class for Rect. MatOfRect faceDetections = new MatOfRect(); faceDetector.detectMultiScale(image, faceDetections); System.out.println(String.format("Detected %s faces", faceDetections.toArray().length)); // Draw a bounding box around each face. for (Rect rect : faceDetections.toArray()) { Core.rectangle(image, new Point(rect.x, rect.y), new Point(rect.x + rect.width, rect.y + rect.height), new Scalar(0, 255, 0)); } // Save the visualized detection. String filename = "faceDetection.png"; System.out.println(String.format("Writing %s", filename)); Highgui.imwrite(filename, image); }}3.编写测试类：[java] view plaincopyprint?package com.njupt.zhb.test; public class TestMain { public static void main(String[] args) { System.out.println("Hello, OpenCV"); // Load the native library. System.loadLibrary("opencv_java246"); new DetectFaceDemo().run(); } } //运行结果: //Hello, OpenCV // //Running DetectFaceDemo ///E:/eclipse_Jee/workspace/JavaOpenCV246/bin/com/njupt/zhb/test/lbpcascade_frontalface.xml //Detected 8 faces //Writing faceDetection.png package com.njupt.zhb.test;public class TestMain { public static void main(String[] args) { System.out.println("Hello, OpenCV"); // Load the native library. System.loadLibrary("opencv_java246"); new DetectFaceDemo().run(); }}//运行结果://Hello, OpenCV////Running DetectFaceDemo///E:/eclipse_Jee/workspace/JavaOpenCV246/bin/com/njupt/zhb/test/lbpcascade_frontalface.xml//Detected 8 faces//Writing faceDetection.png

矩阵的迹 trace 方阵对角元素之和 Singular value decompostion 奇异值分解非常有用，对于矩阵A(p*q)，存在U(p*p)，V(q*q)，B(p*q)（由对角阵与增广行或列组成），满足A = U*B*V U和V中分别是A的奇异向量，而B中是A的奇异值。AA"的特征向量组成U，特征值组成B"B，A"A的特征向量组成V，特征值（与AA"相同）组成BB"。因此，奇异值分解和特征值问题紧密联系。 如果A是复矩阵，B中的奇异值仍然是实数。 SVD提供了一些关于A的信息，例如非零奇异值的数目（B的阶数）和A的阶数相同，一旦阶数确定，那么U的前k列构成了A的列向量空间的正交基。 在数值分析中，由于数值计算误差，测量误差，噪声以及病态矩阵，零奇异值通常显示为很小的数目。 将一个矩阵分解为比较简单或者性质比较熟悉的矩阵之组合，方便讨论和计算。由于矩阵的特征值和特征向量在化矩阵为对角形的问题中占有特殊位置， 因此矩阵的特征值分解。。。尽管矩阵的特征值具有非常好的性质，但是并不是总能正确地表示矩阵的“大小”。矩阵的奇异值和按奇异值分解是矩阵理论和应用中十分重要的内容，已成为多变量反馈控制系统最重要最基本的分析工具之一，奇异值实际上是复数标量绝对值概念的推广， 表示了反馈控制系统的输出/输入增益，能反映控制系统的特性。《鲁棒控制。。倾斜转弯导弹》 昨天看了一个网页，，知道了奇异值分解就是把矩阵A分解成hanger，stretcher，aligner的三重积。从几何意义上讲矩阵A乘以几何图形（用数值序列x，y代表），相当于对几何图形先扭转，再拉伸，再扭转。从这里也知道，“正交”的概念特别有用。一对最简单的正交基（orthogonal basis,perpframe）是p1 = [cos(s) sin(s)]，p2 = [-sin(s) cos(s)]，它可以用于几何变换。

矩阵的迹 trace 方阵对角元素之和 Singular value decompostion 奇异值分解非常有用，对于矩阵A(p*q)，存在U(p*p)，V(q*q)，B(p*q)（由对角阵与增广行或列组成），满足A = U*B*V U和V中分别是A的奇异向量，而B中是A的奇异值。AA"的特征向量组成U，特征值组成B"B，A"A的特征向量组成V，特征值（与AA"相同）组成BB"。因此，奇异值分解和特征值问题紧密联系。 如果A是复矩阵，B中的奇异值仍然是实数。 SVD提供了一些关于A的信息，例如非零奇异值的数目（B的阶数）和A的阶数相同，一旦阶数确定，那么U的前k列构成了A的列向量空间的正交基。 在数值分析中，由于数值计算误差，测量误差，噪声以及病态矩阵，零奇异值通常显示为很小的数目。 将一个矩阵分解为比较简单或者性质比较熟悉的矩阵之组合，方便讨论和计算。由于矩阵的特征值和特征向量在化矩阵为对角形的问题中占有特殊位置， 因此矩阵的特征值分解。。。尽管矩阵的特征值具有非常好的性质，但是并不是总能正确地表示矩阵的“大小”。矩阵的奇异值和按奇异值分解是矩阵理论和应用中十分重要的内容，已成为多变量反馈控制系统最重要最基本的分析工具之一，奇异值实际上是复数标量绝对值概念的推广， 表示了反馈控制系统的输出/输入增益，能反映控制系统的特性。《鲁棒控制。。倾斜转弯导弹》 昨天看了一个网页，，知道了奇异值分解就是把矩阵A分解成hanger，stretcher，aligner的三重积。从几何意义上讲矩阵A乘以几何图形（用数值序列x，y代表），相当于对几何图形先扭转，再拉伸，再扭转。从这里也知道，“正交”的概念特别有用。一对最简单的正交基（orthogonal basis,perpframe）是p1 = [cos(s) sin(s)]，p2 = [-sin(s) cos(s)]，它可以用于几何变换。

奇异值分解是线性代数中一种重要的矩阵分解,在信号处理、统计学等领域有重要应用.奇异值分解在某些方面与对称矩阵或Hermite矩阵基于特征向量的对角化类似.然而这两种矩阵分解尽管有其相关性,但还是有明显的不同.对称阵特征向量分解的基础是谱分析,而奇异值分解则是谱分析理论在任意矩阵上的推广. 在MATLAB中的话!其目的应该是用来把线性方程组的系数距阵或推广距阵化为下三角型! 最终目的是求解线性方程组 尽我所能了哈! 不一定对! 因为我学“数据结构”和“数学实验”已经很久了!,6,

问题一：MATLAB中SVD奇异值分解是什么作用? 奇异值分解 (sigular value deposition,SVD) 是另一种正交矩阵分解法；SVD是最可靠的分解法，但是它比QR 分解法要花上近十倍的计算时间。[U,S,V]=svd(A)，其中U和V代表二个相互正交矩阵，而S代表一对角矩阵。 和QR分解法相同者， 原矩阵A不必为正方矩阵。 使用SVD分解法的用途是解最小平方误差法和数据压缩 问题二：值分解和奇异值分解有什么不同 你把两者的定义都搞清楚自然就能看到有什么不同 如果问两者有和联系才比较合理，不过你还没到那个程度 问题三：奇异值分解为什么奇异值要递减排列？ 奇异值表示相应的部分构成的矩阵具有的能量可以代表原来的整个矩阵， 问题四：MATLAB中SVD奇异值分解是什么作用 答案1：： 奇异值分解 (sigular value deposition,SVD) 是另一 种正交矩阵分解法；SVD是最可靠的分解法，但是它比QR 分解法要花 上近十倍的计算时间。[U,S,V]=svd(A)，其中U和V代表二个相互正交 矩阵，而S代表一对角矩阵。 和QR分解法相同者， 原矩阵A不必为正方矩阵。 使用SVD分解法的用途是解最小平方误差法和数据压缩 答案2：： 奇异值分解是线性代数中一种重要的矩阵分解，在信号处 啊？答案3：： [U,S,V]=svd(A)奇异值分解，就是要把矩阵A分解成 U*S*V" (V"代表V转置).其中U S是正交矩阵（复数域对应为酉矩阵） 奇异值分解可以用来求矩阵的逆，数据压缩等等，不过具体的用法不 是几句话就能说清楚的。总之，奇异值分解特别重要。 :::::::::::::::::::请参考以下相关问题:::::::::::::::::::: 求matlab中的矩阵的奇异值分解（SVD）程序 :::::::::::::::::::请参考以下相关问题:::::::::::::::::::: 最近在翻译matlab代码为VC代码，遇到SVD奇异值分解卡住了。 :::::::::::::::::::请参考以下相关问题:::::::::::::::::::: :::::::::::::::::::请参考以下相关问题:::::::::::::::::::::::::::::::::::::::请参考以下相关问题::::::::::::::::::::

这是矩阵论里面的一种矩阵分解方法，先找矩阵的奇异值，然后按照步骤做就可以将一个矩阵分解三个矩阵的相乘。随便找一本矩阵论的书里面都有。

可以。奇异值分解是一种矩阵因子分解的方法，在主要成分分析和潜在语义分析都会用到这一个重要的工具。奇异值分解中特征值分解得到的矩阵是一个对角矩阵，里面的特征值是由大到小排列的，这些特征值所对应的特征向量就是描述这个矩阵变化方向。但是特征值分解的局限，就是不变化矩阵必须是方阵，对于非方阵而言，就只能进行奇异值分解。

奇异值分解可以被用来计算矩阵的伪逆。若矩阵 M 的奇异值分解为 ，那么 M 的伪逆为其中 是 的伪逆，并将其主对角线上每个非零元素都求倒数之后再转置得到的。求伪逆通常可以用来求解线性最小平方、最小二乘法问题。 奇异值分解在统计中的主要应用为主成分分析（PCA），种数据分析方法，用来找出大量数据中所隐含的“模式”,它可以用在模式识别，数据压缩等方面。PCA算法的作用是把数据集映射到低维空间中去。 数据集的特征值（在SVD中用奇异值表征）按照重要性排列，降维的过程就是舍弃不重要的特征向量的过程，而剩下的特征向量组成的空间即为降维后的空间。几种编程语言中计算SVD的函式范例matlab：[b c d]=svd(x)OpenCV:void cvSVD( CvArr* A, CvArr* W, CvArr* U=NULL, CvArr* V=NULL, int flags=0 )

假设M是一个m×n阶矩阵，其中的元素全部属于域 K，也就是 实数域或复数域。如此则存在一个分解使得M = UΣV*，其中U是m×m阶酉矩阵；Σ是半正定m×n阶对角矩阵；而V*，即V的共轭转置，是n×n阶酉矩阵。这样的分解就称作M的奇异值分解。Σ对角线上的元素Σi,i即为M的奇异值。常见的做法是为了奇异值由大而小排列。如此Σ便能由M唯一确定了。(虽然U和V仍然不能确定。)奇异值分解在某些方面与对称矩阵或Hermite矩阵基于特征向量的对角化类似。然而这两种矩阵分解尽管有其相关性，但还是有明显的不同。对称阵特征向量分解的基础是谱分析，而奇异值分解则是谱分析理论在任意矩阵上的推广。

[U,S,V]=svd(A)奇异值分解，就是要把矩阵A分解成U*S*V"(V"代表V转置).其中US是正交矩阵（复数域对应为酉矩阵）奇异值分解可以用来求矩阵的逆，数据压缩等等，不过具体的用法不是几句话就能说清楚的。总之，奇异值分解特别重要。

  奇异值分解（Singular Value Decomposition，SVD）是线性代数中一种重要的矩阵分解方法，区别于只适用于实对称矩阵的特征分解方法，奇异值分解可对任意实矩阵进行分解。  特征分解（eigendecomposition）又叫谱分解（Spectral decomposition），是把一个矩阵根据其特征值和特征向量分解的过程，只有可以正交化的矩阵才可以进行特征分解。   有了上述定义，接下来讨论如何计算一个矩阵的特征值和特征向量。由定义可知：   其中 为单位矩阵，显然上式的推导结果是一个 元 次的齐次线性方程组， 为该方程组的一个非零解，则有 ，其中 称为 的特征方程， 称为 的特征多项式。基于此，可得到求解方阵A特征值和特征向量的步骤如下：   求出矩阵 的特征值和特征向量后，若矩阵 有 个线性独立的特征向量，那么 是可以正交化的，此时 的特征分解为： 其中 时 个特征向量所组成的 维矩阵， 为以这 个特征值为主对角线元素的对角阵。   对于奇异值,它跟我们特征分解中的特征值类似，在奇异值矩阵中也是按照从大到小排列，而且奇异值的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上的比例。也就是说，我们也可以用最大的k个的奇异值和对应的左右奇异向量来近似描述矩阵： 这样处理的好处是，我们可以用三个较小的矩阵 来表示一个大矩阵 ，如下图所示，使用三个灰色部分的小矩阵来表示大矩阵。   由于这个重要的性质，SVD可以用于PCA降维，来做图片数据压缩和去噪。也可以用于推荐算法，将用户和喜好对应的矩阵做特征分解，进而得到隐含的用户需求来做推荐。同时也可以用于NLP中的算法，比如潜在语义索引（LSI）。

奇异值分解(SVD)是一种矩阵因子分解方法。任意一个m*n的矩阵，都可以表示为三个矩阵的乘积(因子分解)的形式，分别是m阶正交矩阵、由降序排列的非负的对角线元素组成的m*n矩阵和n阶正交矩阵，称为该矩阵的奇异值分解。矩阵的奇异值分解一定存在，但不唯一。奇异值分解可以看作出矩阵数据压缩的一种方法。即用因子分解的方式近似地表示原始矩阵，这种矩阵在平方损失意义下的最优近似。 矩阵的奇异值分解是指，将一个非零的m*n实矩阵 ，表示为以下三个实矩阵乘积形式的运算，即进行矩阵的因子分解 其中U是m阶正交矩阵，V是n阶正交矩阵， 是由降序排列的非负的对角元素组成的 的矩形对角矩阵 称为矩阵的奇异值分解， 称为矩阵A的奇异值, 的列向量称为左奇异向量， 的列向量成为右奇异向量 紧凑奇异值分解是与原始矩阵等秩的奇异值分解，截断奇异值分解是比原始矩阵降低秩的奇异值分解。在实际应用中，常常需要对矩阵的数据进行压缩，将其近似表示，奇异值分解提供了一种方法。奇异值分解是在平方损失意义下对矩阵的最优近似。紧奇异值分解对应着无损压缩，截断奇异值分解对应着有损压缩 设有 实矩阵A，其秩为rank(A) = r, ，则称 为A的紧奇异值分解，即 其中 是 矩阵， 是 矩阵， 是r阶对角矩阵，矩阵 由完全奇异分解中的前r列，矩阵 由V的前r列，矩阵 由 的前r个对角线元素得到，紧奇分解的对角矩阵 的秩与原始矩阵A的秩相等 在矩阵的奇异值分解中，只取最大的k个奇异值(k < r,r为矩阵的秩）对应的部分，就得到矩阵的截断奇异值分解。实际应用中提到的矩阵的奇异值分解，通常指截断奇异值分解 设A为 实矩阵，其秩rank(A)=r,且， ，则称 为矩阵A的截断奇异值分解 其中 是 矩阵， 是n*k矩阵， 是k阶对角矩阵；矩阵 由完全奇异分解U的前k列，矩阵 由V的前k列，矩阵 由 的前k个对角线元素得到。对角矩阵 的秩比原始矩阵A的秩低。 从线性变换的角度理解奇异值分解， 矩阵A表示从n维空间 到m空间 的一个线性变换， x和Ax分别表示各自空间的向量。线性变换可以分解为三个简单的变换：一个坐标系的旋转或反射变换、一个坐标轴的缩放变换、另一个坐标系的旋转或反射。 对矩阵A进行奇异值分解，得到 ,V和U都是正交矩阵，所以V的列向量 构成空间的一组标准正交基，表示 中的正交坐标系的旋转或反射；U的列向量 构成 空间的一组标准正交基，表示 中正交坐标系的旋转或反射； 的对角元素 是一组非负实数，表示 中原始正坐标系坐标轴的 倍的缩放变换。 任意一个向量 ，经过基于 的线性变换，等价于经过坐标系的旋转或反射变换 ，坐标轴的缩放变换 ，以及坐标轴的旋转或反射变换U,得到相框 矩阵A是 的正交实矩阵，则矩阵 是n阶实对称矩阵，因而 的特征值都是实数，并且存在一个n阶正实矩阵V实现 的对角化，使得 成立，其中 是n阶对角矩阵，其对角元素由 的特征值组成。 而且， 的特征值都是非负的。事实上，令 是 的一个特征值，x是对应的特征向量，则 于是 可以假设正交矩阵V的列排列使得对应的特征值形成降序排列。 计算特征值的平方根(实际上解释矩阵A的奇异值) 设矩阵A的秩是r,rank(A)=r,则矩阵 的秩也是r。由于 是对称矩阵，它的秩等于正的特征值的个数。对应的 令 其中 为 的特征值对应的特征向量， 为0特征值对应的特征向量。 则这就是矩阵A的奇异值分解中的n阶正交矩阵V 令 则 是个一个r阶对角矩阵，其对角线元素为按降序排列的正的 ，于是 矩形对角矩阵 可以表示为 这就是矩阵A的奇异值分解中的 矩阵对角矩阵 接着构造m阶正交实矩阵U 令 则有 的列向量构成正交基是因为 对 的非零空间的一组标准正交基 ，令 并令

矩阵的奇异值分解（SVD）是指，将一个非零的 实矩阵 , , 表示为三个实矩阵相乘的形式: 其中， 是 阶正交矩阵, 是 阶正交矩阵， 是由降序排列的非负的对角线元素组成的 矩形对角矩阵, 满足 成称为矩阵 的奇异值， 的列向量称为左奇异向量， 的列向量称为右奇异向量 ps：奇异值分解不要求矩阵 是方阵，矩阵的奇异值分解可以看作是方阵对角化的推广 以上给出的奇异值分解又称为完全奇异值分解，实际常用的是奇异值分解的紧凑形式和截断形式。 设有 实矩阵 , 其秩为 : 紧奇异值分解 : 其中， 是 矩阵, 是 矩阵， 是 阶对角矩阵；矩阵 由完全奇异值分解中 的前 列、矩阵 由 的前 列、矩阵 由 的前 个对角线元素组成。紧奇异值分解的对角矩阵 的秩与原始矩阵 的秩相等。 截断奇异值分解 ： 其中， ， 是 矩阵, 是 矩阵, 是 阶对角矩阵; 矩阵 由完全奇异值分解中 的前 列矩阵 由 的前 列、矩阵 由 的前 个对角线元素组成。对角矩阵 的秩比原始矩阵 的秩低 （1）设矩阵 的奇异值分解为 , 则以下关系成立: （2）矩阵 的奇异值分解中，左奇异向量，右奇异向量和奇异值存在一一对应的关系 （3）矩阵 的奇异值分解中，奇异值 是唯一的，而矩阵 和 不 是唯一的。 （4）矩阵 和 的秩相等, 等于正奇异值 的个数 包含重复的奇异值，奇异值都是非负的) （5）矩阵 的 个右奇异向量 构成 的值域 的一组标准正交基 从线性变换的角度理解奇异值分解: 矩阵 表示从 维空间 到 维 空间 的一个线性变换， 和 分别是各自空间的向量。 奇异值分解可以看作, 将线性变换 转换为三个简单变换. 例如下图, 给出了原始空间的标准正交基 (红色与黄色)，经过坐标系的旋转变换 、坐标轴的缩放变换 , 坐标系的旋转变换 ，得到和经过线性变换 等价的结果。

美味有些理论，感觉就是有点复杂

姓名：刘保阔 学号：19021210887 转自：https://www.cnblogs.com/tianqizhi/p/9745913.html 【嵌牛导读】       奇异值分解（Singular Value Decomposition）是 矩阵论 中一种重要的 矩阵 分解，奇异值分解则是 特征 分解在任意矩阵上的推广。在 信号处理 、 统计学 等领域有重要应用。 【嵌牛正文】 一、奇异值与特征值基础知识：   特征值分解和奇异值分解在机器学习领域都是属于满地可见的方法。两者有着很紧密的关系，我在接下来会谈到，特征值分解和奇异值分解的目的都是一样，就是提取出一个矩阵最重要的特征。先谈谈特征值分解吧：    1）特征值：     如果说一个向量v是方阵A的特征向量，将一定可以表示成下面的形式：     这时候λ就被称为特征向量v对应的特征值，一个矩阵的一组特征向量是一组正交向量。特征值分解是将一个矩阵分解成下面的形式：     其中Q是这个矩阵A的特征向量组成的矩阵，Σ是一个对角阵，每一个对角线上的元素就是一个特征值。我这里引用了一些参考文献中的内容来说明一下。首先，要明确的是，一个矩阵其实就是一个线性变换，因为一个矩阵乘以一个向量后得到的向量，其实就相当于将这个向量进行了线性变换。比如说下面的一个矩阵： 它其实对应的线性变换是下面的形式： 因为这个矩阵M乘以一个向量(x,y)的结果是： 上面的矩阵是对称的，所以这个变换是一个对x，y轴的方向一个拉伸变换（每一个对角线上的元素将会对一个维度进行拉伸变换，当值>1时，是拉长，当值<1时时缩短），当矩阵不是对称的时候，假如说矩阵是下面的样子： 它所描述的变换是下面的样子： 　　这其实是在平面上对一个轴进行的拉伸变换（如蓝色的箭头所示），在图中，蓝色的箭头是一个最主要的变化方向（变化方向可能有不止一个），如果我们想要描述好一个变换，那我们就描述好这个变换主要的变化方向就好了。反过头来看看之前特征值分解的式子，分解得到的Σ矩阵是一个对角阵，里面的特征值是由大到小排列的，这些特征值所对应的特征向量就是描述这个矩阵变化方向（从主要的变化到次要的变化排列）。 　　当矩阵是高维的情况下，那么这个矩阵就是高维空间下的一个线性变换，这个线性变化可能没法通过图片来表示，但是可以想象，这个变换也同样有很多的变换方向，我们通过特征值分解得到的前N个特征向量，那么就对应了这个矩阵最主要的N个变化方向。我们利用这前N个变化方向，就可以近似这个矩阵（变换）。也就是之前说的：提取这个矩阵最重要的特征。总结一下，特征值分解可以得到特征值与特征向量，特征值表示的是这个特征到底有多重要，而特征向量表示这个特征是什么，可以将每一个特征向量理解为一个线性的子空间，我们可以利用这些线性的子空间干很多的事情。不过，特征值分解也有很多的局限，比如说变换的矩阵必须是方阵。   2）奇异值：     下面谈谈奇异值分解。特征值分解是一个提取矩阵特征很不错的方法，但是它只是对方阵而言的，在现实的世界中，我们看到的大部分矩阵都不是方阵，比如说有N个学生，每个学生有M科成绩，这样形成的一个N * M的矩阵就不可能是方阵，我们怎样才能描述这样普通的矩阵呢的重要特征呢？奇异值分解可以用来干这个事情，奇异值分解是一个能适用于任意的矩阵的一种分解的方法： 假设A是一个N * M的矩阵，那么得到的U是一个N * N的方阵（里面的向量是正交的，U里面的向量称为左奇异向量），Σ是一个N * M的矩阵（除了对角线的元素都是0，对角线上的元素称为奇异值），V"(V的转置)是一个N * N的矩阵，里面的向量也是正交的，V里面的向量称为右奇异向量），从图片来反映几个相乘的矩阵的大小可得下面的图片 那么奇异值和特征值是怎么对应起来的呢？首先，我们将一个矩阵A的转置 * A，将会得到一个方阵，我们用这个方阵求特征值可以得到：这里得到的v，就是我们上面的右奇异向量。此外我们还可以得到： 这里的σ就是上面说的奇异值，u就是上面说的左奇异向量。奇异值σ跟特征值类似，在矩阵Σ中也是从大到小排列，而且σ的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上了。也就是说，我们也可以用前r大的奇异值来近似描述矩阵，这里定义一下部分奇异值分解：     r是一个远小于m、n的数，这样矩阵的乘法看起来像是下面的样子：     右边的三个矩阵相乘的结果将会是一个接近于A的矩阵，在这儿，r越接近于n，则相乘的结果越接近于A。而这三个矩阵的面积之和（在存储观点来说，矩阵面积越小，存储量就越小）要远远小于原始的矩阵A，我们如果想要压缩空间来表示原矩阵A，我们存下这里的三个矩阵：U、Σ、V就好了。 二、奇异值的计算：     奇异值的计算是一个难题，是一个O(N^3)的算法。在单机的情况下当然是没问题的，matlab在一秒钟内就可以算出1000 * 1000的矩阵的所有奇异值，但是当矩阵的规模增长的时候，计算的复杂度呈3次方增长，就需要并行计算参与了。Google的吴军老师在数学之美系列谈到SVD的时候，说起Google实现了SVD的并行化算法，说这是对人类的一个贡献，但是也没有给出具体的计算规模，也没有给出太多有价值的信息。     其实SVD还是可以用并行的方式去实现的，在解大规模的矩阵的时候，一般使用迭代的方法，当矩阵的规模很大（比如说上亿）的时候，迭代的次数也可能会上亿次，如果使用Map-Reduce框架去解，则每次Map-Reduce完成的时候，都会涉及到写文件、读文件的操作。个人猜测Google云计算体系中除了Map-Reduce以外应该还有类似于MPI的计算模型，也就是节点之间是保持通信，数据是常驻在内存中的，这种计算模型比Map-Reduce在解决迭代次数非常多的时候，要快了很多倍。 Lanczos迭代 就是一种解对称方阵部分特征值的方法（之前谈到了，解A"* A得到的对称方阵的特征值就是解A的右奇异向量），是将一个对称的方程化为一个三对角矩阵再进行求解。按网上的一些文献来看，Google应该是用这种方法去做的奇异值分解的。请见Wikipedia上面的一些引用的论文，如果理解了那些论文，也“几乎”可以做出一个SVD了。     由于奇异值的计算是一个很枯燥，纯数学的过程，而且前人的研究成果（论文中）几乎已经把整个程序的流程图给出来了。更多的关于奇异值计算的部分，将在后面的参考文献中给出，这里不再深入，我还是focus在奇异值的应用中去。 三、奇异值与主成分分析（PCA）： 主成分分析在上一节里面也讲了一些，这里主要谈谈如何用SVD去解PCA的问题。PCA的问题其实是一个基的变换，使得变换后的数据有着最大的方差。方差的大小描述的是一个变量的信息量，我们在讲一个东西的稳定性的时候，往往说要减小方差，如果一个模型的方差很大，那就说明模型不稳定了。但是对于我们用于机器学习的数据（主要是训练数据），方差大才有意义，不然输入的数据都是同一个点，那方差就为0了，这样输入的多个数据就等同于一个数据了。以下面这张图为例子： 这个假设是一个摄像机采集一个物体运动得到的图片，上面的点表示物体运动的位置，假如我们想要用一条直线去拟合这些点，那我们会选择什么方向的线呢？当然是图上标有signal的那条线。如果我们把这些点单纯的投影到x轴或者y轴上，最后在x轴与y轴上得到的方差是相似的（因为这些点的趋势是在45度左右的方向，所以投影到x轴或者y轴上都是类似的），如果我们使用原来的xy坐标系去看这些点，容易看不出来这些点真正的方向是什么。但是如果我们进行坐标系的变化，横轴变成了signal的方向，纵轴变成了noise的方向，则就很容易发现什么方向的方差大，什么方向的方差小了。     一般来说，方差大的方向是信号的方向，方差小的方向是噪声的方向，我们在数据挖掘中或者数字信号处理中，往往要提高信号与噪声的比例，也就是信噪比。对上图来说，如果我们只保留signal方向的数据，也可以对原数据进行不错的近似了。     PCA的全部工作简单点说，就是对原始的空间中顺序地找一组相互正交的坐标轴，第一个轴是使得方差最大的，第二个轴是在与第一个轴正交的平面中使得方差最大的，第三个轴是在与第1、2个轴正交的平面中方差最大的，这样假设在N维空间中，我们可以找到N个这样的坐标轴，我们取前r个去近似这个空间，这样就从一个N维的空间压缩到r维的空间了，但是我们选择的r个坐标轴能够使得空间的压缩使得数据的损失最小。    还是假设我们矩阵每一行表示一个样本，每一列表示一个feature，用矩阵的语言来表示，将一个m * n的矩阵A的进行坐标轴的变化，P就是一个变换的矩阵从一个N维的空间变换到另一个N维的空间，在空间中就会进行一些类似于旋转、拉伸的变化。     而将一个m * n的矩阵A变换成一个m * r的矩阵，这样就会使得本来有n个feature的，变成了有r个feature了（r < n)，这r个其实就是对n个feature的一种提炼，我们就把这个称为feature的压缩。用数学语言表示就是： 但是这个怎么和SVD扯上关系呢？之前谈到，SVD得出的奇异向量也是从奇异值由大到小排列的，按PCA的观点来看，就是方差最大的坐标轴就是第一个奇异向量，方差次大的坐标轴就是第二个奇异向量…我们回忆一下之前得到的SVD式子： 在矩阵的两边同时乘上一个矩阵V，由于V是一个正交的矩阵，所以V转置乘以V得到单位阵I，所以可以化成后面的式子 将后面的式子与A * P那个m * n的矩阵变换为m * r的矩阵的式子对照看看，在这里，其实V就是P，也就是一个变化的向量。这里是将一个m * n 的矩阵压缩到一个m * r的矩阵，也就是对列进行压缩，如果我们想对行进行压缩（在PCA的观点下，对行进行压缩可以理解为，将一些相似的sample合并在一起，或者将一些没有太大价值的sample去掉）怎么办呢？同样我们写出一个通用的行压缩例子： 这样就从一个m行的矩阵压缩到一个r行的矩阵了，对SVD来说也是一样的，我们对SVD分解的式子两边乘以U的转置U" 这样我们就得到了对行进行压缩的式子。可以看出，其实PCA几乎可以说是对SVD的一个包装，如果我们实现了SVD，那也就实现了PCA了，而且更好的地方是，有了SVD，我们就可以得到两个方向的PCA，如果我们对A"A进行特征值的分解，只能得到一个方向的PCA。 四、奇异值与潜在语义索引LSI： 潜在语义索引（Latent Semantic Indexing）与PCA不太一样，至少不是实现了SVD就可以直接用的，不过LSI也是一个严重依赖于SVD的算法，之前吴军老师在 矩阵计算与文本处理中的分类问题 中谈到：     “三个矩阵有非常清楚的物理含义。第一个矩阵X中的每一行表示意思相关的一类词，其中的每个非零元素表示这类词中每个词的重要性（或者说相关性），数值越大越相关。最后一个矩阵Y中的每一列表示同一主题一类文章，其中每个元素表示这类文章中每篇文章的相关性。中间的矩阵则表示类词和文章雷之间的相关性。因此，我们只要对关联矩阵A进行一次奇异值分解，w 我们就可以同时完成了近义词分类和文章的分类。（同时得到每类文章和每类词的相关性）。”      上面这段话可能不太容易理解，不过这就是LSI的精髓内容，我下面举一个例子来说明一下，下面的例子来自LSA tutorial，具体的网址我将在最后的引用中给出： 这就是一个矩阵，不过不太一样的是，这里的一行表示一个词在哪些title中出现了（一行就是之前说的一维feature），一列表示一个title中有哪些词，（这个矩阵其实是我们之前说的那种一行是一个sample的形式的一种转置，这个会使得我们的左右奇异向量的意义产生变化，但是不会影响我们计算的过程）。比如说T1这个title中就有guide、investing、market、stock四个词，各出现了一次，我们将这个矩阵进行SVD，得到下面的矩阵： 左奇异向量表示词的一些特性，右奇异向量表示文档的一些特性，中间的奇异值矩阵表示左奇异向量的一行与右奇异向量的一列的重要程序，数字越大越重要。       继续看这个矩阵还可以发现一些有意思的东西，首先，左奇异向量的第一列表示每一个词的出现频繁程度，虽然不是线性的，但是可以认为是一个大概的描述，比如book是0.15对应文档中出现的2次，investing是0.74对应了文档中出现了9次，rich是0.36对应文档中出现了3次；       其次，右奇异向量中一的第一行表示每一篇文档中的出现词的个数的近似，比如说，T6是0.49，出现了5个词，T2是0.22，出现了2个词。       然后我们反过头来看，我们可以将左奇异向量和右奇异向量都取后2维（之前是3维的矩阵），投影到一个平面上，可以得到： 在图上，每一个红色的点，都表示一个词，每一个蓝色的点，都表示一篇文档，这样我们可以对这些词和文档进行聚类，比如说stock 和 market可以放在一类，因为他们老是出现在一起，real和estate可以放在一类，dads，guide这种词就看起来有点孤立了，我们就不对他们进行合并了。按这样聚类出现的效果，可以提取文档集合中的近义词，这样当用户检索文档的时候，是用语义级别（近义词集合）去检索了，而不是之前的词的级别。这样一减少我们的检索、存储量，因为这样压缩的文档集合和PCA是异曲同工的，二可以提高我们的用户体验，用户输入一个词，我们可以在这个词的近义词的集合中去找，这是传统的索引无法做到的。

奇异值分解我写过一个简短的理解，记录于 https://www.jianshu.com/p/8c7dac32620f ， 这次又写一遍完全是因为《统计学习方法》的奇异值分解讲得太详细了，占了25页的篇幅，且大致翻看后面章节后发现奇异值分解的应用很多，因此决定对奇异值分解再重新学习一遍。 任意一个 矩阵，都可以表示为三个矩阵的乘积（因子分解）形式： 其中 是 阶正交矩阵、 是由降序排列的非负的对角线元素组成的 矩形对角阵、 是 阶正交矩阵。即这三个矩阵满足： 称为矩阵 的奇异值分解（singular value decomposition，SVD）。 奇异值分解基本定理 ：若 为一个 实矩阵， ，则 的奇异值分解存在。 证明： 证明是构造性的，对给定矩阵，不妨设 。 （1）确定 和 。 矩阵 是 实矩阵，则 是 阶实对称矩阵，因而 的特征值都是实数，且存在一 阶正交实矩阵 实现 的对角化，使得 ，其中 是 阶对角矩阵，其对角线元素由 的特征值组成，且 的特征值都是非负的。事实上，令 是 的一个特征值， 是对应的特征向量，则： 于是： 假设正交矩阵 的列的排列使得对应特征值形成降序排列： 计算特征值平方根（实际就是矩阵 的奇异值）： 设矩阵 的秩为 ，则矩阵 的秩也为 （通过证明 和 同解即可证明）。由于 是对称矩阵，它的秩等于正的特征值的个数（因为 和与其相似的对角矩阵 秩相等，而 对角元素是 的特征值）。所以： 从而： 令： 其中 为正特征值对应的特征向量组成的矩阵， 则为0特征值对应的特征向量组成的矩阵。从而 可以写成： 这就是矩阵 的奇异值分解中的正交矩阵 。 令： 于是 矩阵对角矩阵 可以表示为： 这就是矩阵 奇异值分解中的 。 （2）确定 令： 则有： 的列向量构成了一组标准正交基，因为： 因为 时， 和 正交。故有： 所以 的列向量构成了一组标准正交基。 若将 看成从 到 的线性变换，则 的列空间和 的值域 相同。因此 也是 的一组标准正交基。因为 （即 的零空间和 的正交补相同），故 的维数为 。 令 为 的一组标准正交基，并令： 则 构成了 的一组标准正交基。因此 就是 的奇异值分解中的 阶正交矩阵。 （3）证明 至此证明了矩阵 存在奇异值分解。 上述定理给出的奇异值分解 称为矩阵的 完全奇异值分解 。实际常用的是奇异值分解的紧凑形式和截断形式。 紧奇异值分解是与原始矩阵等秩的奇异值分解，截断奇异值分解是比原始矩阵低秩的奇异值分解。 紧奇异值分解定义 ： 设有 实矩阵 ，其秩为 ，则称 为 的紧奇异值分解： 是 矩阵，由完全奇异值分解中 的前 列得到， 是 矩阵，由完全奇异值分解中 的前 列得到， 是 阶对角矩阵，由完全奇异值分解中 的前 个对角线元素得到。 截断奇异值分解定义： 设有 实矩阵 ，其秩为 ，且 ，则称 为 的截断奇异值分解： 是 矩阵，由完全奇异值分解中 的前 列得到， 是 矩阵，由完全奇异值分解中 的前 列得到， 是 阶对角矩阵，由完全奇异值分解中 的前 个对角线元素得到。 注意，紧奇异值分解完全还原原矩阵，截断奇异值分解近似还原原矩阵。因此在对矩阵数据进行压缩时，紧奇异值分解对应无损压缩，截断奇异值分解对应有损压缩。 从线性变换的角度理解奇异值分解， 矩阵表示从 维空间 到 维空间 的一个线性变换： ， ， 和 分别是各自空间的向量。 线性变换可以分解为三个简单的变换：一个坐标系的旋转或反射变换、一个坐标轴的缩放变换、另一个坐标系的旋转或反射变换。 这就是奇异值分解的几何解释。 上图来自《统计学习方法》。我们可以很直观地看到奇异值分解的几何意义。 其实奇异值分解的计算过程已经蕴含在奇异值分解基本定理中了，对给定 矩阵 ，计算过程如下： （1）计算 的特征值 和对应的特征值向量。 （2）将特征向量单位化，得到单位特征向量 构成 阶正交矩阵 ： （3）计算 的奇异值： 构造 矩阵 ，主对角线元素为奇异值，其余元素为 。 （4）对 前 个正奇异值，令： 得到： 求 零空间的一组标准正交基 ，令： 则： 这部分内容是我没有接触过的，我以前只知道SVD和PCA类似，都可以做降维（其实PCA是SVD的特殊情形），但并没有从矩阵近似和压缩的角度看待过SVD。这一部分内容证明了一个结论： 奇异值分解是在平方损失意义下对矩阵的最优近似。 首先定义 矩阵的平方损失函数 （也称为弗罗贝尼乌斯范数）： 设矩阵 ， ，定义矩阵 的平方损失函数为： 下面证明一个结论： 证明： 一般地，若 是 阶正交矩阵，则： 这是因为： 同理，若 是 阶正交矩阵，则： 因此： 即： 有了上述结论，我们接下来证明 奇异值分解是在平方损失意义下对矩阵的最优近似。 定理1 设矩阵 ， ，设 为 中所有秩不超过 的矩阵集合， ，则存在一个秩为 的矩阵 ，使得： 称矩阵 为矩阵 在平方误差下的最优近似。 定理2 设矩阵 ， ，有奇异值分解 ，并设 为 中所有秩不超过 的矩阵的集合， ，若秩为 的矩阵 满足： 则： 特别地，若 ，其中： 则： 定理2的具体证明过程见《统计学习方法》。

假设M是一个m×n阶矩阵，其中的元素全部属于域K，也就是实数域或复数域。如此则存在一个分解使得M=UΣV*，其中U是m×m阶酉矩阵；Σ是半正定m×n阶对角矩阵；而V*，即V的共轭转置，是n×n阶酉矩阵。这样的分解就称作M的奇异值分解。Σ对角线上的元素Σi,i即为M的奇异值。常见的做法是为了奇异值由大而小排列。如此Σ便能由M唯一确定了。(虽然U和V仍然不能确定。)奇异值分解在某些方面与对称矩阵或Hermite矩阵基于特征向量的对角化类似。然而这两种矩阵分解尽管有其相关性，但还是有明显的不同。对称阵特征向量分解的基础是谱分析，而奇异值分解则是谱分析理论在任意矩阵上的推广。

奇异值分解有幂迭代法，QR算法，子空间方法等等。其中幂迭代法用于求最大的奇异值及奇异向量。QR算法是幂迭代算法的并行版本，也是最基本最稳定的算法。其他很多算法都通过各种变换，比如household变换，lanczos变换等等，将矩阵化为海森伯格阵，然后用QR算法求解。此外还有子空间方法，这个方法特别适用于求解大型稀疏矩阵的最大的几个奇异值及奇异向量。推荐一个blog，详细讲解奇异值分解的lanczos算法，QR算法，分治算法，和MRRR算法，这些都是当下最快的算法。并提供C++源码http://www.cnblogs.com/qxred/p/lanczos.htmlhttp://www.cnblogs.com/qxred/p/qralgorithm.htmlhttp://www.cnblogs.com/qxred/p/dcalgorithm.html

有的矩阵都可以进行奇异值分解，而只有方阵才可以进行特征值分解。当所给的矩阵是对称的方阵，A(T)=A，二者的结果是相同的。也就是说对称矩阵的特征值分解是所有奇异值分解的一个特例。但是二者还是存在一些小的差异，奇异值分解需要对奇异值从大到小的排序，而且全部是大于等于零。对于特征值分解 [v,d] = eig( A ) , 即 A = v*d*inv(v)对于奇异值分解,其分解的基本形式为 [u,s,v] = svd(C), C = u*s*v". 若C阵为对称的方阵, 则有 u = v; 所以有 C = v*s*v";

特征值分解和奇异值分解的区别所有的矩阵都可以进行奇异值分解，而只有方阵才可以进行特征值分解。当所给的矩阵是对称的方阵，A(T)=A，二者的结果是相同的。也就是说对称矩阵的特征值分解是所有奇异值分解的一个特例。但是二者还是存在一些小的差异，奇异值分解需要对奇异值从大到小的排序，而且全部是大于等于零。对于特征值分解[v,d]=eig(A),即A=v*d*inv(v)对于奇异值分解,其分解的基本形式为[u,s,v]=svd(C),C=u*s*v".若C阵为对称的方阵,则有u=v;所以有C=v*s*v";

答案1：： 奇异值分解 (sigular value decomposition,SVD) 是另一种正交矩阵分解法；SVD是最可靠的分解法，但是它比QR 分解法要花上近十倍的计算时间。[U,S,V]=svd(A)，其中U和V代表二个相互正交矩阵，而S代表一对角矩阵。 和QR分解法相同者， 原矩阵A不必为正方矩阵。使用SVD分解法的用途是解最小平方误差法和数据压缩答案2：： 奇异值分解是线性代数中一种重要的矩阵分解，在信号处啊？答案3：： [U,S,V]=svd(A)奇异值分解，就是要把矩阵A分解成U*S*V" (V"代表V转置).其中U S是正交矩阵（复数域对应为酉矩阵）奇异值分解可以用来求矩阵的逆，数据压缩等等，不过具体的用法不是几句话就能说清楚的。总之，奇异值分解特别重要。:::::::::::::::::::请参考以下相关问题::::::::::::::::::::求matlab中的矩阵的奇异值分解（SVD）程序:::::::::::::::::::请参考以下相关问题::::::::::::::::::::最近在翻译matlab代码为VC代码，遇到SVD奇异值分解卡住了。:::::::::::::::::::请参考以下相关问题:::::::::::::::::::::::::::::::::::::::请参考以下相关问题:::::::::::::::::::::::::::::::::::::::请参考以下相关问题::::::::::::::::::::

标题里的问题是不可能出现的,不过你描述的问题是有可能的,说明你算错了 首先要注意,尽管不同的矩阵不可能有相同的SVD,但对于同一个矩阵来讲,SVD不是唯一的 比较简单的情况,A=∑σ_i v_i u_i^T,可以看出即使没有重奇异值v_i和u_i也可能不唯一,比如(v_i*z)(u_i^T/z)也满足条件,其中z是单位复数 有重奇异值的时候U和V松动的余地更大 所以我估计你的算法里U和V是分开算的,并没有互相故及对方

将ui扩展为一个基的结果不惟一

对任意m×n阶距阵A做分解之后得到两个正交距阵U，V和一个广义对角阵（其中的对角元素就是奇异值），有了这样一个简单的描述后，对任意向量x，对应的变换Ax就可以用A分解后的三个距阵来计算了。这样的话，对于v阵的任一个元素Vi，经过变换AVi就可以得到唯一的一个Uiσi，这样就有了大家都知道的几何意义：当A是方阵时，其奇异值的几何意义是：若X是n维单位球面上的一点，则Ax是一个n维椭球面上的点，其中椭球的n个半轴长正好是A的n个奇异值。简单地说，在二维情况下，A将单位圆变成了椭圆，A的两个奇异值是椭圆的长半轴和短半轴。

矩阵的迹 trace 方阵对角元素之和 Singular value decompostion 奇异值分解非常有用，对于矩阵A(p*q)，存在U(p*p)，V(q*q)，B(p*q)（由对角阵与增广行或列组成），满足A = U*B*V U和V中分别是A的奇异向量，而B中是A的奇异值。AA"的特征向量组成U，特征值组成B"B，A"A的特征向量组成V，特征值（与AA"相同）组成BB"。因此，奇异值分解和特征值问题紧密联系。 如果A是复矩阵，B中的奇异值仍然是实数。 SVD提供了一些关于A的信息，例如非零奇异值的数目（B的阶数）和A的阶数相同，一旦阶数确定，那么U的前k列构成了A的列向量空间的正交基。 在数值分析中，由于数值计算误差，测量误差，噪声以及病态矩阵，零奇异值通常显示为很小的数目。 将一个矩阵分解为比较简单或者性质比较熟悉的矩阵之组合，方便讨论和计算。由于矩阵的特征值和特征向量在化矩阵为对角形的问题中占有特殊位置， 因此矩阵的特征值分解。。。尽管矩阵的特征值具有非常好的性质，但是并不是总能正确地表示矩阵的“大小”。矩阵的奇异值和按奇异值分解是矩阵理论和应用中十分重要的内容，已成为多变量反馈控制系统最重要最基本的分析工具之一，奇异值实际上是复数标量绝对值概念的推广， 表示了反馈控制系统的输出/输入增益，能反映控制系统的特性。《鲁棒控制。。倾斜转弯导弹》 昨天看了一个网页，，知道了奇异值分解就是把矩阵A分解成hanger，stretcher，aligner的三重积。从几何意义上讲矩阵A乘以几何图形（用数值序列x，y代表），相当于对几何图形先扭转，再拉伸，再扭转。从这里也知道，“正交”的概念特别有用。一对最简单的正交基（orthogonal basis,perpframe）是p1 = [cos(s) sin(s)]，p2 = [-sin(s) cos(s)]，它可以用于几何变换。

阿萨德点点滴滴点点滴滴

奇异值 奇异值矩阵 奇异值矩阵分解 奇异值分解是线性代数中一种重要的矩阵分解，在信号处理、统计学等领域有重要应用。 定义：设A为m*n阶矩阵，的n个特征值的非负平方根叫作A的奇异值。 记为。 (A)，则HA)^(1/2)。 定理:（奇异值分解）设A为m*n阶复矩阵，则存在m阶酉阵U和n阶酉阵V，使得: A = U*S*V" 其中S=diag(σi,σ2,……,σr)，σi>0 (i=1,…,r)，r=rank(A)。 推论：设A为m*n阶实矩阵，则存在m阶正交阵U和n阶正交阵V，使得 A = U*S*V" 其中S=diag(σi,σ2,……,σr)，σi>0 (i=1,…,r)，r=rank(A)。 说明： 1、奇异值分解非常有用，对于矩阵A(m*n)，存在U(m*m)，V(n*n)，S(m*n)，满足A = U*S*V"。 U和V中分别是A的奇异向量，而S是A的奇异值。 AA"的正交单位特征向量组成U，特征值组成S"S，A"A的正交单位特征向量组成V，特征值（与AA"相同）组成SS"。 因此，奇异值分解和特征值问题紧密联系。 2、奇异值分解提供了一些关于A的信息，例如非零奇异值的数目（S的阶数）和A的秩相同，一旦秩r确定，那么U的前r列构成了A的列向量空间的正交基。 关于奇异值分解中当考虑的对象是实矩阵时: S对角元的平方恰为A"A特征值的说明. (对复矩阵类似可得) 从上面我们知道矩阵的奇异值分解为: A=USV, 其中U,V是正交阵(所谓B为正交阵是指B"=B-1, 即B"B=I), S为对角阵. A"A=V"S"U"USV=V"S"SV=V-1S2V 上式中, 一方面因为S是对角阵, S"S=S2, 且S2对角元就是S的对角元的平方. 另一方面注意到A"A是相似与S2的, 因此与S2有相同特征值. 注：下面的符号和上面的有差异，注意区分 SVD步骤： 1、求AHA或AAH 2、求AHA或AAH的特征值及特征向量x1,x2,...xr， r个特征值组成 3、 U=(x1,x2,...xr)地 4、V1=AU1Δr-1，取V2与其正交，则V=(V1，V2) 则n阶复方阵U的n个列向量是U空间的一个标准正交基,则U是U距阵. 一个简单的充分必要判别准则是 方阵U的转置共扼距阵乘以U 等于单位阵,则U是U距阵 正交向量组的性质 定义1 Euclid空间V的一组两两正交的非零向量叫做V的一个正交向量组． 若正交向量组的每一个向量都是单位向量，这个正交组就叫做一个标准正交向量组． 设V是一个n维Euclid空间．若V中n个向量α1，α2，…，αn构成一个正交组，则由定理9.2.1知道这n个向量构成V的一个基．这样的一个基叫做V的一个正交基．若V的一个正交基还是一个标准正交向量组，则称这个基是V的一个标准正交基．

矩阵的迹 trace 方阵对角元素之和 Singular value decompostion 奇异值分解非常有用，对于矩阵A(p*q)，存在U(p*p)，V(q*q)，B(p*q)（由对角阵与增广行或列组成），满足A = U*B*V U和V中分别是A的奇异向量，而B中是A的奇异值。AA"的特征向量组成U，特征值组成B"B，A"A的特征向量组成V，特征值（与AA"相同）组成BB"。因此，奇异值分解和特征值问题紧密联系。 如果A是复矩阵，B中的奇异值仍然是实数。 SVD提供了一些关于A的信息，例如非零奇异值的数目（B的阶数）和A的阶数相同，一旦阶数确定，那么U的前k列构成了A的列向量空间的正交基。 在数值分析中，由于数值计算误差，测量误差，噪声以及病态矩阵，零奇异值通常显示为很小的数目。 将一个矩阵分解为比较简单或者性质比较熟悉的矩阵之组合，方便讨论和计算。由于矩阵的特征值和特征向量在化矩阵为对角形的问题中占有特殊位置， 因此矩阵的特征值分解。。。尽管矩阵的特征值具有非常好的性质，但是并不是总能正确地表示矩阵的“大小”。矩阵的奇异值和按奇异值分解是矩阵理论和应用中十分重要的内容，已成为多变量反馈控制系统最重要最基本的分析工具之一，奇异值实际上是复数标量绝对值概念的推广， 表示了反馈控制系统的输出/输入增益，能反映控制系统的特性。《鲁棒控制。。倾斜转弯导弹》 昨天看了一个网页，，知道了奇异值分解就是把矩阵A分解成hanger，stretcher，aligner的三重积。从几何意义上讲矩阵A乘以几何图形（用数值序列x，y代表），相当于对几何图形先扭转，再拉伸，再扭转。从这里也知道，“正交”的概念特别有用。一对最简单的正交基（orthogonal basis,perpframe）是p1 = [cos(s) sin(s)]，p2 = [-sin(s) cos(s)]，它可以用于几何变换。

怎么可能。不是方阵的矩阵才做奇异值分解，U与V的阶数本就不同。

线性代数中，我们所说的矩阵的特征分解，即为：然而，要满足特征分解，矩阵必须为方阵，否则无法直接求解特征值。 对于一般矩阵，我们如果也要对其进行分解成3个矩阵乘积 ，其中 为 的矩阵， 为 的方阵， 为 的矩阵， 为 的矩阵。 矩阵如何分解呢？首先，它应该满足一个条件，它是方的！那么如何把矩阵变成方针呢？ 一个矩阵乘以它的转置即为方阵。 那么接下来的分解就是对与构造方阵的分解。还是特征分解的老步骤。这里，先提一下， 是半正定矩阵： 。由于 满足矩阵交换乘积，有 ，且 。 我们可以设 的特征值为 ，设 的特征值为 ，且不为0的特征值个数相等。因此，有矩阵半正定，特征值非负，可以开根号。特征值从右上角开始写，直到写到最后一个非零特征值。其余元素均为0。 刚才提及的是矩阵的奇异值分解的方法，现在我们初步看一下这个方法在降维中的应用。 令 ， 为矩阵对角线元素。 奇异值分解后的矩阵可以表示为：令特征值从大到小排列，意味着前面的较大的特征值保留了矩阵较为重要的特征，后面的较小的特征值保留了矩阵比较细节的特征。以图像的压缩为例子： 压缩钱图像矩阵为 ，意味着参数有 个，只取前 个特征值，参数有 。误差为： 。 也可以用作在神经网络的加速运算，之后提及。 下面是图片压缩的例子（转自知乎@DeepWeaver）

奇异值奇异值矩阵奇异值矩阵分解奇异值分解是线性代数中一种重要的矩阵分解，在信号处理、统计学等领域有重要应用。定义：设A为m*n阶矩阵，的n个特征值的非负平方根叫作A的奇异值。记为。(A)，则HA)^(1/2)。定理:（奇异值分解）设A为m*n阶复矩阵，则存在m阶酉阵U和n阶酉阵V，使得:A=U*S*V"其中S=diag(σi,σ2,……,σr)，σi>0(i=1,…,r)，r=rank(A)。推论：设A为m*n阶实矩阵，则存在m阶正交阵U和n阶正交阵V，使得A=U*S*V"其中S=diag(σi,σ2,……,σr)，σi>0(i=1,…,r)，r=rank(A)。说明：1、奇异值分解非常有用，对于矩阵A(m*n)，存在U(m*m)，V(n*n)，S(m*n)，满足A=U*S*V"。U和V中分别是A的奇异向量，而S是A的奇异值。AA"的正交单位特征向量组成U，特征值组成S"S，A"A的正交单位特征向量组成V，特征值（与AA"相同）组成SS"。因此，奇异值分解和特征值问题紧密联系。2、奇异值分解提供了一些关于A的信息，例如非零奇异值的数目（S的阶数）和A的秩相同，一旦秩r确定，那么U的前r列构成了A的列向量空间的正交基。关于奇异值分解中当考虑的对象是实矩阵时:S对角元的平方恰为A"A特征值的说明.(对复矩阵类似可得)从上面我们知道矩阵的奇异值分解为:A=USV,其中U,V是正交阵(所谓B为正交阵是指B"=B-1,即B"B=I),S为对角阵.A"A=V"S"U"USV=V"S"SV=V-1S2V上式中,一方面因为S是对角阵,S"S=S2,且S2对角元就是S的对角元的平方.另一方面注意到A"A是相似与S2的,因此与S2有相同特征值.注：下面的符号和上面的有差异，注意区分SVD步骤：1、求AHA或AAH2、求AHA或AAH的特征值及特征向量x1,x2,...xr，r个特征值组成3、U=(x1,x2,...xr)地4、V1=AU1Δr-1，取V2与其正交，则V=(V1，V2)则n阶复方阵U的n个列向量是U空间的一个标准正交基,则U是U距阵.一个简单的充分必要判别准则是方阵U的转置共扼距阵乘以U等于单位阵,则U是U距阵正交向量组的性质定义1Euclid空间V的一组两两正交的非零向量叫做V的一个正交向量组．若正交向量组的每一个向量都是单位向量，这个正交组就叫做一个标准正交向量组．设V是一个n维Euclid空间．若V中n个向量α1，α2，…，αn构成一个正交组，则由定理9.2.1知道这n个向量构成V的一个基．这样的一个基叫做V的一个正交基．若V的一个正交基还是一个标准正交向量组，则称这个基是V的一个标准正交基．