主成分分析法(PCA)(含SVD奇异值分解)等降维(dimensionality reduction)算法-sklearn

  奇异值分解（Singular Value Decomposition，SVD）是线性代数中一种重要的矩阵分解方法，区别于只适用于实对称矩阵的特征分解方法，奇异值分解可对任意实矩阵进行分解。  特征分解（eigendecomposition）又叫谱分解（Spectral decomposition），是把一个矩阵根据其特征值和特征向量分解的过程，只有可以正交化的矩阵才可以进行特征分解。   有了上述定义，接下来讨论如何计算一个矩阵的特征值和特征向量。由定义可知：   其中 为单位矩阵，显然上式的推导结果是一个 元 次的齐次线性方程组， 为该方程组的一个非零解，则有 ，其中 称为 的特征方程， 称为 的特征多项式。基于此，可得到求解方阵A特征值和特征向量的步骤如下：   求出矩阵 的特征值和特征向量后，若矩阵 有 个线性独立的特征向量，那么 是可以正交化的，此时 的特征分解为： 其中 时 个特征向量所组成的 维矩阵， 为以这 个特征值为主对角线元素的对角阵。   对于奇异值,它跟我们特征分解中的特征值类似，在奇异值矩阵中也是按照从大到小排列，而且奇异值的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上的比例。也就是说，我们也可以用最大的k个的奇异值和对应的左右奇异向量来近似描述矩阵： 这样处理的好处是，我们可以用三个较小的矩阵 来表示一个大矩阵 ，如下图所示，使用三个灰色部分的小矩阵来表示大矩阵。   由于这个重要的性质，SVD可以用于PCA降维，来做图片数据压缩和去噪。也可以用于推荐算法，将用户和喜好对应的矩阵做特征分解，进而得到隐含的用户需求来做推荐。同时也可以用于NLP中的算法，比如潜在语义索引（LSI）。

奇异值分解(SVD)是一种矩阵因子分解方法。任意一个m*n的矩阵，都可以表示为三个矩阵的乘积(因子分解)的形式，分别是m阶正交矩阵、由降序排列的非负的对角线元素组成的m*n矩阵和n阶正交矩阵，称为该矩阵的奇异值分解。矩阵的奇异值分解一定存在，但不唯一。奇异值分解可以看作出矩阵数据压缩的一种方法。即用因子分解的方式近似地表示原始矩阵，这种矩阵在平方损失意义下的最优近似。 矩阵的奇异值分解是指，将一个非零的m*n实矩阵 ，表示为以下三个实矩阵乘积形式的运算，即进行矩阵的因子分解 其中U是m阶正交矩阵，V是n阶正交矩阵， 是由降序排列的非负的对角元素组成的 的矩形对角矩阵 称为矩阵的奇异值分解， 称为矩阵A的奇异值, 的列向量称为左奇异向量， 的列向量成为右奇异向量 紧凑奇异值分解是与原始矩阵等秩的奇异值分解，截断奇异值分解是比原始矩阵降低秩的奇异值分解。在实际应用中，常常需要对矩阵的数据进行压缩，将其近似表示，奇异值分解提供了一种方法。奇异值分解是在平方损失意义下对矩阵的最优近似。紧奇异值分解对应着无损压缩，截断奇异值分解对应着有损压缩 设有 实矩阵A，其秩为rank(A) = r, ，则称 为A的紧奇异值分解，即 其中 是 矩阵， 是 矩阵， 是r阶对角矩阵，矩阵 由完全奇异分解中的前r列，矩阵 由V的前r列，矩阵 由 的前r个对角线元素得到，紧奇分解的对角矩阵 的秩与原始矩阵A的秩相等 在矩阵的奇异值分解中，只取最大的k个奇异值(k < r,r为矩阵的秩）对应的部分，就得到矩阵的截断奇异值分解。实际应用中提到的矩阵的奇异值分解，通常指截断奇异值分解 设A为 实矩阵，其秩rank(A)=r,且， ，则称 为矩阵A的截断奇异值分解 其中 是 矩阵， 是n*k矩阵， 是k阶对角矩阵；矩阵 由完全奇异分解U的前k列，矩阵 由V的前k列，矩阵 由 的前k个对角线元素得到。对角矩阵 的秩比原始矩阵A的秩低。 从线性变换的角度理解奇异值分解， 矩阵A表示从n维空间 到m空间 的一个线性变换， x和Ax分别表示各自空间的向量。线性变换可以分解为三个简单的变换：一个坐标系的旋转或反射变换、一个坐标轴的缩放变换、另一个坐标系的旋转或反射。 对矩阵A进行奇异值分解，得到 ,V和U都是正交矩阵，所以V的列向量 构成空间的一组标准正交基，表示 中的正交坐标系的旋转或反射；U的列向量 构成 空间的一组标准正交基，表示 中正交坐标系的旋转或反射； 的对角元素 是一组非负实数，表示 中原始正坐标系坐标轴的 倍的缩放变换。 任意一个向量 ，经过基于 的线性变换，等价于经过坐标系的旋转或反射变换 ，坐标轴的缩放变换 ，以及坐标轴的旋转或反射变换U,得到相框 矩阵A是 的正交实矩阵，则矩阵 是n阶实对称矩阵，因而 的特征值都是实数，并且存在一个n阶正实矩阵V实现 的对角化，使得 成立，其中 是n阶对角矩阵，其对角元素由 的特征值组成。 而且， 的特征值都是非负的。事实上，令 是 的一个特征值，x是对应的特征向量，则 于是 可以假设正交矩阵V的列排列使得对应的特征值形成降序排列。 计算特征值的平方根(实际上解释矩阵A的奇异值) 设矩阵A的秩是r,rank(A)=r,则矩阵 的秩也是r。由于 是对称矩阵，它的秩等于正的特征值的个数。对应的 令 其中 为 的特征值对应的特征向量， 为0特征值对应的特征向量。 则这就是矩阵A的奇异值分解中的n阶正交矩阵V 令 则 是个一个r阶对角矩阵，其对角线元素为按降序排列的正的 ，于是 矩形对角矩阵 可以表示为 这就是矩阵A的奇异值分解中的 矩阵对角矩阵 接着构造m阶正交实矩阵U 令 则有 的列向量构成正交基是因为 对 的非零空间的一组标准正交基 ，令 并令

矩阵的奇异值分解（SVD）是指，将一个非零的 实矩阵 , , 表示为三个实矩阵相乘的形式: 其中， 是 阶正交矩阵, 是 阶正交矩阵， 是由降序排列的非负的对角线元素组成的 矩形对角矩阵, 满足 成称为矩阵 的奇异值， 的列向量称为左奇异向量， 的列向量称为右奇异向量 ps：奇异值分解不要求矩阵 是方阵，矩阵的奇异值分解可以看作是方阵对角化的推广 以上给出的奇异值分解又称为完全奇异值分解，实际常用的是奇异值分解的紧凑形式和截断形式。 设有 实矩阵 , 其秩为 : 紧奇异值分解 : 其中， 是 矩阵, 是 矩阵， 是 阶对角矩阵；矩阵 由完全奇异值分解中 的前 列、矩阵 由 的前 列、矩阵 由 的前 个对角线元素组成。紧奇异值分解的对角矩阵 的秩与原始矩阵 的秩相等。 截断奇异值分解 ： 其中， ， 是 矩阵, 是 矩阵, 是 阶对角矩阵; 矩阵 由完全奇异值分解中 的前 列矩阵 由 的前 列、矩阵 由 的前 个对角线元素组成。对角矩阵 的秩比原始矩阵 的秩低 （1）设矩阵 的奇异值分解为 , 则以下关系成立: （2）矩阵 的奇异值分解中，左奇异向量，右奇异向量和奇异值存在一一对应的关系 （3）矩阵 的奇异值分解中，奇异值 是唯一的，而矩阵 和 不 是唯一的。 （4）矩阵 和 的秩相等, 等于正奇异值 的个数 包含重复的奇异值，奇异值都是非负的) （5）矩阵 的 个右奇异向量 构成 的值域 的一组标准正交基 从线性变换的角度理解奇异值分解: 矩阵 表示从 维空间 到 维 空间 的一个线性变换， 和 分别是各自空间的向量。 奇异值分解可以看作, 将线性变换 转换为三个简单变换. 例如下图, 给出了原始空间的标准正交基 (红色与黄色)，经过坐标系的旋转变换 、坐标轴的缩放变换 , 坐标系的旋转变换 ，得到和经过线性变换 等价的结果。

美味有些理论，感觉就是有点复杂

姓名：刘保阔 学号：19021210887 转自：https://www.cnblogs.com/tianqizhi/p/9745913.html 【嵌牛导读】       奇异值分解（Singular Value Decomposition）是 矩阵论 中一种重要的 矩阵 分解，奇异值分解则是 特征 分解在任意矩阵上的推广。在 信号处理 、 统计学 等领域有重要应用。 【嵌牛正文】 一、奇异值与特征值基础知识：   特征值分解和奇异值分解在机器学习领域都是属于满地可见的方法。两者有着很紧密的关系，我在接下来会谈到，特征值分解和奇异值分解的目的都是一样，就是提取出一个矩阵最重要的特征。先谈谈特征值分解吧：    1）特征值：     如果说一个向量v是方阵A的特征向量，将一定可以表示成下面的形式：     这时候λ就被称为特征向量v对应的特征值，一个矩阵的一组特征向量是一组正交向量。特征值分解是将一个矩阵分解成下面的形式：     其中Q是这个矩阵A的特征向量组成的矩阵，Σ是一个对角阵，每一个对角线上的元素就是一个特征值。我这里引用了一些参考文献中的内容来说明一下。首先，要明确的是，一个矩阵其实就是一个线性变换，因为一个矩阵乘以一个向量后得到的向量，其实就相当于将这个向量进行了线性变换。比如说下面的一个矩阵： 它其实对应的线性变换是下面的形式： 因为这个矩阵M乘以一个向量(x,y)的结果是： 上面的矩阵是对称的，所以这个变换是一个对x，y轴的方向一个拉伸变换（每一个对角线上的元素将会对一个维度进行拉伸变换，当值>1时，是拉长，当值<1时时缩短），当矩阵不是对称的时候，假如说矩阵是下面的样子： 它所描述的变换是下面的样子： 　　这其实是在平面上对一个轴进行的拉伸变换（如蓝色的箭头所示），在图中，蓝色的箭头是一个最主要的变化方向（变化方向可能有不止一个），如果我们想要描述好一个变换，那我们就描述好这个变换主要的变化方向就好了。反过头来看看之前特征值分解的式子，分解得到的Σ矩阵是一个对角阵，里面的特征值是由大到小排列的，这些特征值所对应的特征向量就是描述这个矩阵变化方向（从主要的变化到次要的变化排列）。 　　当矩阵是高维的情况下，那么这个矩阵就是高维空间下的一个线性变换，这个线性变化可能没法通过图片来表示，但是可以想象，这个变换也同样有很多的变换方向，我们通过特征值分解得到的前N个特征向量，那么就对应了这个矩阵最主要的N个变化方向。我们利用这前N个变化方向，就可以近似这个矩阵（变换）。也就是之前说的：提取这个矩阵最重要的特征。总结一下，特征值分解可以得到特征值与特征向量，特征值表示的是这个特征到底有多重要，而特征向量表示这个特征是什么，可以将每一个特征向量理解为一个线性的子空间，我们可以利用这些线性的子空间干很多的事情。不过，特征值分解也有很多的局限，比如说变换的矩阵必须是方阵。   2）奇异值：     下面谈谈奇异值分解。特征值分解是一个提取矩阵特征很不错的方法，但是它只是对方阵而言的，在现实的世界中，我们看到的大部分矩阵都不是方阵，比如说有N个学生，每个学生有M科成绩，这样形成的一个N * M的矩阵就不可能是方阵，我们怎样才能描述这样普通的矩阵呢的重要特征呢？奇异值分解可以用来干这个事情，奇异值分解是一个能适用于任意的矩阵的一种分解的方法： 假设A是一个N * M的矩阵，那么得到的U是一个N * N的方阵（里面的向量是正交的，U里面的向量称为左奇异向量），Σ是一个N * M的矩阵（除了对角线的元素都是0，对角线上的元素称为奇异值），V"(V的转置)是一个N * N的矩阵，里面的向量也是正交的，V里面的向量称为右奇异向量），从图片来反映几个相乘的矩阵的大小可得下面的图片 那么奇异值和特征值是怎么对应起来的呢？首先，我们将一个矩阵A的转置 * A，将会得到一个方阵，我们用这个方阵求特征值可以得到：这里得到的v，就是我们上面的右奇异向量。此外我们还可以得到： 这里的σ就是上面说的奇异值，u就是上面说的左奇异向量。奇异值σ跟特征值类似，在矩阵Σ中也是从大到小排列，而且σ的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上了。也就是说，我们也可以用前r大的奇异值来近似描述矩阵，这里定义一下部分奇异值分解：     r是一个远小于m、n的数，这样矩阵的乘法看起来像是下面的样子：     右边的三个矩阵相乘的结果将会是一个接近于A的矩阵，在这儿，r越接近于n，则相乘的结果越接近于A。而这三个矩阵的面积之和（在存储观点来说，矩阵面积越小，存储量就越小）要远远小于原始的矩阵A，我们如果想要压缩空间来表示原矩阵A，我们存下这里的三个矩阵：U、Σ、V就好了。 二、奇异值的计算：     奇异值的计算是一个难题，是一个O(N^3)的算法。在单机的情况下当然是没问题的，matlab在一秒钟内就可以算出1000 * 1000的矩阵的所有奇异值，但是当矩阵的规模增长的时候，计算的复杂度呈3次方增长，就需要并行计算参与了。Google的吴军老师在数学之美系列谈到SVD的时候，说起Google实现了SVD的并行化算法，说这是对人类的一个贡献，但是也没有给出具体的计算规模，也没有给出太多有价值的信息。     其实SVD还是可以用并行的方式去实现的，在解大规模的矩阵的时候，一般使用迭代的方法，当矩阵的规模很大（比如说上亿）的时候，迭代的次数也可能会上亿次，如果使用Map-Reduce框架去解，则每次Map-Reduce完成的时候，都会涉及到写文件、读文件的操作。个人猜测Google云计算体系中除了Map-Reduce以外应该还有类似于MPI的计算模型，也就是节点之间是保持通信，数据是常驻在内存中的，这种计算模型比Map-Reduce在解决迭代次数非常多的时候，要快了很多倍。 Lanczos迭代 就是一种解对称方阵部分特征值的方法（之前谈到了，解A"* A得到的对称方阵的特征值就是解A的右奇异向量），是将一个对称的方程化为一个三对角矩阵再进行求解。按网上的一些文献来看，Google应该是用这种方法去做的奇异值分解的。请见Wikipedia上面的一些引用的论文，如果理解了那些论文，也“几乎”可以做出一个SVD了。     由于奇异值的计算是一个很枯燥，纯数学的过程，而且前人的研究成果（论文中）几乎已经把整个程序的流程图给出来了。更多的关于奇异值计算的部分，将在后面的参考文献中给出，这里不再深入，我还是focus在奇异值的应用中去。 三、奇异值与主成分分析（PCA）： 主成分分析在上一节里面也讲了一些，这里主要谈谈如何用SVD去解PCA的问题。PCA的问题其实是一个基的变换，使得变换后的数据有着最大的方差。方差的大小描述的是一个变量的信息量，我们在讲一个东西的稳定性的时候，往往说要减小方差，如果一个模型的方差很大，那就说明模型不稳定了。但是对于我们用于机器学习的数据（主要是训练数据），方差大才有意义，不然输入的数据都是同一个点，那方差就为0了，这样输入的多个数据就等同于一个数据了。以下面这张图为例子： 这个假设是一个摄像机采集一个物体运动得到的图片，上面的点表示物体运动的位置，假如我们想要用一条直线去拟合这些点，那我们会选择什么方向的线呢？当然是图上标有signal的那条线。如果我们把这些点单纯的投影到x轴或者y轴上，最后在x轴与y轴上得到的方差是相似的（因为这些点的趋势是在45度左右的方向，所以投影到x轴或者y轴上都是类似的），如果我们使用原来的xy坐标系去看这些点，容易看不出来这些点真正的方向是什么。但是如果我们进行坐标系的变化，横轴变成了signal的方向，纵轴变成了noise的方向，则就很容易发现什么方向的方差大，什么方向的方差小了。     一般来说，方差大的方向是信号的方向，方差小的方向是噪声的方向，我们在数据挖掘中或者数字信号处理中，往往要提高信号与噪声的比例，也就是信噪比。对上图来说，如果我们只保留signal方向的数据，也可以对原数据进行不错的近似了。     PCA的全部工作简单点说，就是对原始的空间中顺序地找一组相互正交的坐标轴，第一个轴是使得方差最大的，第二个轴是在与第一个轴正交的平面中使得方差最大的，第三个轴是在与第1、2个轴正交的平面中方差最大的，这样假设在N维空间中，我们可以找到N个这样的坐标轴，我们取前r个去近似这个空间，这样就从一个N维的空间压缩到r维的空间了，但是我们选择的r个坐标轴能够使得空间的压缩使得数据的损失最小。    还是假设我们矩阵每一行表示一个样本，每一列表示一个feature，用矩阵的语言来表示，将一个m * n的矩阵A的进行坐标轴的变化，P就是一个变换的矩阵从一个N维的空间变换到另一个N维的空间，在空间中就会进行一些类似于旋转、拉伸的变化。     而将一个m * n的矩阵A变换成一个m * r的矩阵，这样就会使得本来有n个feature的，变成了有r个feature了（r < n)，这r个其实就是对n个feature的一种提炼，我们就把这个称为feature的压缩。用数学语言表示就是： 但是这个怎么和SVD扯上关系呢？之前谈到，SVD得出的奇异向量也是从奇异值由大到小排列的，按PCA的观点来看，就是方差最大的坐标轴就是第一个奇异向量，方差次大的坐标轴就是第二个奇异向量…我们回忆一下之前得到的SVD式子： 在矩阵的两边同时乘上一个矩阵V，由于V是一个正交的矩阵，所以V转置乘以V得到单位阵I，所以可以化成后面的式子 将后面的式子与A * P那个m * n的矩阵变换为m * r的矩阵的式子对照看看，在这里，其实V就是P，也就是一个变化的向量。这里是将一个m * n 的矩阵压缩到一个m * r的矩阵，也就是对列进行压缩，如果我们想对行进行压缩（在PCA的观点下，对行进行压缩可以理解为，将一些相似的sample合并在一起，或者将一些没有太大价值的sample去掉）怎么办呢？同样我们写出一个通用的行压缩例子： 这样就从一个m行的矩阵压缩到一个r行的矩阵了，对SVD来说也是一样的，我们对SVD分解的式子两边乘以U的转置U" 这样我们就得到了对行进行压缩的式子。可以看出，其实PCA几乎可以说是对SVD的一个包装，如果我们实现了SVD，那也就实现了PCA了，而且更好的地方是，有了SVD，我们就可以得到两个方向的PCA，如果我们对A"A进行特征值的分解，只能得到一个方向的PCA。 四、奇异值与潜在语义索引LSI： 潜在语义索引（Latent Semantic Indexing）与PCA不太一样，至少不是实现了SVD就可以直接用的，不过LSI也是一个严重依赖于SVD的算法，之前吴军老师在 矩阵计算与文本处理中的分类问题 中谈到：     “三个矩阵有非常清楚的物理含义。第一个矩阵X中的每一行表示意思相关的一类词，其中的每个非零元素表示这类词中每个词的重要性（或者说相关性），数值越大越相关。最后一个矩阵Y中的每一列表示同一主题一类文章，其中每个元素表示这类文章中每篇文章的相关性。中间的矩阵则表示类词和文章雷之间的相关性。因此，我们只要对关联矩阵A进行一次奇异值分解，w 我们就可以同时完成了近义词分类和文章的分类。（同时得到每类文章和每类词的相关性）。”      上面这段话可能不太容易理解，不过这就是LSI的精髓内容，我下面举一个例子来说明一下，下面的例子来自LSA tutorial，具体的网址我将在最后的引用中给出： 这就是一个矩阵，不过不太一样的是，这里的一行表示一个词在哪些title中出现了（一行就是之前说的一维feature），一列表示一个title中有哪些词，（这个矩阵其实是我们之前说的那种一行是一个sample的形式的一种转置，这个会使得我们的左右奇异向量的意义产生变化，但是不会影响我们计算的过程）。比如说T1这个title中就有guide、investing、market、stock四个词，各出现了一次，我们将这个矩阵进行SVD，得到下面的矩阵： 左奇异向量表示词的一些特性，右奇异向量表示文档的一些特性，中间的奇异值矩阵表示左奇异向量的一行与右奇异向量的一列的重要程序，数字越大越重要。       继续看这个矩阵还可以发现一些有意思的东西，首先，左奇异向量的第一列表示每一个词的出现频繁程度，虽然不是线性的，但是可以认为是一个大概的描述，比如book是0.15对应文档中出现的2次，investing是0.74对应了文档中出现了9次，rich是0.36对应文档中出现了3次；       其次，右奇异向量中一的第一行表示每一篇文档中的出现词的个数的近似，比如说，T6是0.49，出现了5个词，T2是0.22，出现了2个词。       然后我们反过头来看，我们可以将左奇异向量和右奇异向量都取后2维（之前是3维的矩阵），投影到一个平面上，可以得到： 在图上，每一个红色的点，都表示一个词，每一个蓝色的点，都表示一篇文档，这样我们可以对这些词和文档进行聚类，比如说stock 和 market可以放在一类，因为他们老是出现在一起，real和estate可以放在一类，dads，guide这种词就看起来有点孤立了，我们就不对他们进行合并了。按这样聚类出现的效果，可以提取文档集合中的近义词，这样当用户检索文档的时候，是用语义级别（近义词集合）去检索了，而不是之前的词的级别。这样一减少我们的检索、存储量，因为这样压缩的文档集合和PCA是异曲同工的，二可以提高我们的用户体验，用户输入一个词，我们可以在这个词的近义词的集合中去找，这是传统的索引无法做到的。

奇异值分解我写过一个简短的理解，记录于 https://www.jianshu.com/p/8c7dac32620f ， 这次又写一遍完全是因为《统计学习方法》的奇异值分解讲得太详细了，占了25页的篇幅，且大致翻看后面章节后发现奇异值分解的应用很多，因此决定对奇异值分解再重新学习一遍。 任意一个 矩阵，都可以表示为三个矩阵的乘积（因子分解）形式： 其中 是 阶正交矩阵、 是由降序排列的非负的对角线元素组成的 矩形对角阵、 是 阶正交矩阵。即这三个矩阵满足： 称为矩阵 的奇异值分解（singular value decomposition，SVD）。 奇异值分解基本定理 ：若 为一个 实矩阵， ，则 的奇异值分解存在。 证明： 证明是构造性的，对给定矩阵，不妨设 。 （1）确定 和 。 矩阵 是 实矩阵，则 是 阶实对称矩阵，因而 的特征值都是实数，且存在一 阶正交实矩阵 实现 的对角化，使得 ，其中 是 阶对角矩阵，其对角线元素由 的特征值组成，且 的特征值都是非负的。事实上，令 是 的一个特征值， 是对应的特征向量，则： 于是： 假设正交矩阵 的列的排列使得对应特征值形成降序排列： 计算特征值平方根（实际就是矩阵 的奇异值）： 设矩阵 的秩为 ，则矩阵 的秩也为 （通过证明 和 同解即可证明）。由于 是对称矩阵，它的秩等于正的特征值的个数（因为 和与其相似的对角矩阵 秩相等，而 对角元素是 的特征值）。所以： 从而： 令： 其中 为正特征值对应的特征向量组成的矩阵， 则为0特征值对应的特征向量组成的矩阵。从而 可以写成： 这就是矩阵 的奇异值分解中的正交矩阵 。 令： 于是 矩阵对角矩阵 可以表示为： 这就是矩阵 奇异值分解中的 。 （2）确定 令： 则有： 的列向量构成了一组标准正交基，因为： 因为 时， 和 正交。故有： 所以 的列向量构成了一组标准正交基。 若将 看成从 到 的线性变换，则 的列空间和 的值域 相同。因此 也是 的一组标准正交基。因为 （即 的零空间和 的正交补相同），故 的维数为 。 令 为 的一组标准正交基，并令： 则 构成了 的一组标准正交基。因此 就是 的奇异值分解中的 阶正交矩阵。 （3）证明 至此证明了矩阵 存在奇异值分解。 上述定理给出的奇异值分解 称为矩阵的 完全奇异值分解 。实际常用的是奇异值分解的紧凑形式和截断形式。 紧奇异值分解是与原始矩阵等秩的奇异值分解，截断奇异值分解是比原始矩阵低秩的奇异值分解。 紧奇异值分解定义 ： 设有 实矩阵 ，其秩为 ，则称 为 的紧奇异值分解： 是 矩阵，由完全奇异值分解中 的前 列得到， 是 矩阵，由完全奇异值分解中 的前 列得到， 是 阶对角矩阵，由完全奇异值分解中 的前 个对角线元素得到。 截断奇异值分解定义： 设有 实矩阵 ，其秩为 ，且 ，则称 为 的截断奇异值分解： 是 矩阵，由完全奇异值分解中 的前 列得到， 是 矩阵，由完全奇异值分解中 的前 列得到， 是 阶对角矩阵，由完全奇异值分解中 的前 个对角线元素得到。 注意，紧奇异值分解完全还原原矩阵，截断奇异值分解近似还原原矩阵。因此在对矩阵数据进行压缩时，紧奇异值分解对应无损压缩，截断奇异值分解对应有损压缩。 从线性变换的角度理解奇异值分解， 矩阵表示从 维空间 到 维空间 的一个线性变换： ， ， 和 分别是各自空间的向量。 线性变换可以分解为三个简单的变换：一个坐标系的旋转或反射变换、一个坐标轴的缩放变换、另一个坐标系的旋转或反射变换。 这就是奇异值分解的几何解释。 上图来自《统计学习方法》。我们可以很直观地看到奇异值分解的几何意义。 其实奇异值分解的计算过程已经蕴含在奇异值分解基本定理中了，对给定 矩阵 ，计算过程如下： （1）计算 的特征值 和对应的特征值向量。 （2）将特征向量单位化，得到单位特征向量 构成 阶正交矩阵 ： （3）计算 的奇异值： 构造 矩阵 ，主对角线元素为奇异值，其余元素为 。 （4）对 前 个正奇异值，令： 得到： 求 零空间的一组标准正交基 ，令： 则： 这部分内容是我没有接触过的，我以前只知道SVD和PCA类似，都可以做降维（其实PCA是SVD的特殊情形），但并没有从矩阵近似和压缩的角度看待过SVD。这一部分内容证明了一个结论： 奇异值分解是在平方损失意义下对矩阵的最优近似。 首先定义 矩阵的平方损失函数 （也称为弗罗贝尼乌斯范数）： 设矩阵 ， ，定义矩阵 的平方损失函数为： 下面证明一个结论： 证明： 一般地，若 是 阶正交矩阵，则： 这是因为： 同理，若 是 阶正交矩阵，则： 因此： 即： 有了上述结论，我们接下来证明 奇异值分解是在平方损失意义下对矩阵的最优近似。 定理1 设矩阵 ， ，设 为 中所有秩不超过 的矩阵集合， ，则存在一个秩为 的矩阵 ，使得： 称矩阵 为矩阵 在平方误差下的最优近似。 定理2 设矩阵 ， ，有奇异值分解 ，并设 为 中所有秩不超过 的矩阵的集合， ，若秩为 的矩阵 满足： 则： 特别地，若 ，其中： 则： 定理2的具体证明过程见《统计学习方法》。

假设M是一个m×n阶矩阵，其中的元素全部属于域K，也就是实数域或复数域。如此则存在一个分解使得M=UΣV*，其中U是m×m阶酉矩阵；Σ是半正定m×n阶对角矩阵；而V*，即V的共轭转置，是n×n阶酉矩阵。这样的分解就称作M的奇异值分解。Σ对角线上的元素Σi,i即为M的奇异值。常见的做法是为了奇异值由大而小排列。如此Σ便能由M唯一确定了。(虽然U和V仍然不能确定。)奇异值分解在某些方面与对称矩阵或Hermite矩阵基于特征向量的对角化类似。然而这两种矩阵分解尽管有其相关性，但还是有明显的不同。对称阵特征向量分解的基础是谱分析，而奇异值分解则是谱分析理论在任意矩阵上的推广。

奇异值分解有幂迭代法，QR算法，子空间方法等等。其中幂迭代法用于求最大的奇异值及奇异向量。QR算法是幂迭代算法的并行版本，也是最基本最稳定的算法。其他很多算法都通过各种变换，比如household变换，lanczos变换等等，将矩阵化为海森伯格阵，然后用QR算法求解。此外还有子空间方法，这个方法特别适用于求解大型稀疏矩阵的最大的几个奇异值及奇异向量。推荐一个blog，详细讲解奇异值分解的lanczos算法，QR算法，分治算法，和MRRR算法，这些都是当下最快的算法。并提供C++源码http://www.cnblogs.com/qxred/p/lanczos.htmlhttp://www.cnblogs.com/qxred/p/qralgorithm.htmlhttp://www.cnblogs.com/qxred/p/dcalgorithm.html

有的矩阵都可以进行奇异值分解，而只有方阵才可以进行特征值分解。当所给的矩阵是对称的方阵，A(T)=A，二者的结果是相同的。也就是说对称矩阵的特征值分解是所有奇异值分解的一个特例。但是二者还是存在一些小的差异，奇异值分解需要对奇异值从大到小的排序，而且全部是大于等于零。对于特征值分解 [v,d] = eig( A ) , 即 A = v*d*inv(v)对于奇异值分解,其分解的基本形式为 [u,s,v] = svd(C), C = u*s*v". 若C阵为对称的方阵, 则有 u = v; 所以有 C = v*s*v";

特征值分解和奇异值分解的区别所有的矩阵都可以进行奇异值分解，而只有方阵才可以进行特征值分解。当所给的矩阵是对称的方阵，A(T)=A，二者的结果是相同的。也就是说对称矩阵的特征值分解是所有奇异值分解的一个特例。但是二者还是存在一些小的差异，奇异值分解需要对奇异值从大到小的排序，而且全部是大于等于零。对于特征值分解[v,d]=eig(A),即A=v*d*inv(v)对于奇异值分解,其分解的基本形式为[u,s,v]=svd(C),C=u*s*v".若C阵为对称的方阵,则有u=v;所以有C=v*s*v";

答案1：： 奇异值分解 (sigular value decomposition,SVD) 是另一种正交矩阵分解法；SVD是最可靠的分解法，但是它比QR 分解法要花上近十倍的计算时间。[U,S,V]=svd(A)，其中U和V代表二个相互正交矩阵，而S代表一对角矩阵。 和QR分解法相同者， 原矩阵A不必为正方矩阵。使用SVD分解法的用途是解最小平方误差法和数据压缩答案2：： 奇异值分解是线性代数中一种重要的矩阵分解，在信号处啊？答案3：： [U,S,V]=svd(A)奇异值分解，就是要把矩阵A分解成U*S*V" (V"代表V转置).其中U S是正交矩阵（复数域对应为酉矩阵）奇异值分解可以用来求矩阵的逆，数据压缩等等，不过具体的用法不是几句话就能说清楚的。总之，奇异值分解特别重要。:::::::::::::::::::请参考以下相关问题::::::::::::::::::::求matlab中的矩阵的奇异值分解（SVD）程序:::::::::::::::::::请参考以下相关问题::::::::::::::::::::最近在翻译matlab代码为VC代码，遇到SVD奇异值分解卡住了。:::::::::::::::::::请参考以下相关问题:::::::::::::::::::::::::::::::::::::::请参考以下相关问题:::::::::::::::::::::::::::::::::::::::请参考以下相关问题::::::::::::::::::::

标题里的问题是不可能出现的,不过你描述的问题是有可能的,说明你算错了 首先要注意,尽管不同的矩阵不可能有相同的SVD,但对于同一个矩阵来讲,SVD不是唯一的 比较简单的情况,A=∑σ_i v_i u_i^T,可以看出即使没有重奇异值v_i和u_i也可能不唯一,比如(v_i*z)(u_i^T/z)也满足条件,其中z是单位复数 有重奇异值的时候U和V松动的余地更大 所以我估计你的算法里U和V是分开算的,并没有互相故及对方

将ui扩展为一个基的结果不惟一

SVD这是线性代数现在的重中之重，相比之前，约旦标准型的光辉岁月已经退去了、SVD中文叫奇异值分解。线性代数里面X"X矩阵是非常重要的矩阵 因为既保留了X的所有信息又把这种信息的载体优化了，具备了很好的性质，比如如果X列满秩或者行满秩，X"X就是可逆的，对称的，而且可以构造投影矩阵，这是最小二乘的基础。但是X不一定就能满秩，所以X"X就不是满秩方阵，也就不可逆，但是有逆这个性质我们非常想得到，SVD就出现了。SVD的第一大应用就是使得非满秩的X"X有逆，国外称作伪逆，我们叫广义逆，其实国内的广义逆有很多不唯一，SVD可以帮你找到最好的那个。这样最小二乘法就能继续得到应用。

对任意m×n阶距阵A做分解之后得到两个正交距阵U，V和一个广义对角阵（其中的对角元素就是奇异值），有了这样一个简单的描述后，对任意向量x，对应的变换Ax就可以用A分解后的三个距阵来计算了。这样的话，对于v阵的任一个元素Vi，经过变换AVi就可以得到唯一的一个Uiσi，这样就有了大家都知道的几何意义：当A是方阵时，其奇异值的几何意义是：若X是n维单位球面上的一点，则Ax是一个n维椭球面上的点，其中椭球的n个半轴长正好是A的n个奇异值。简单地说，在二维情况下，A将单位圆变成了椭圆，A的两个奇异值是椭圆的长半轴和短半轴。

可以。奇异值分解是一种矩阵因子分解的方法，在主要成分分析和潜在语义分析都会用到这一个重要的工具。奇异值分解中特征值分解得到的矩阵是一个对角矩阵，里面的特征值是由大到小排列的，这些特征值所对应的特征向量就是描述这个矩阵变化方向。但是特征值分解的局限，就是不变化矩阵必须是方阵，对于非方阵而言，就只能进行奇异值分解。

奇异值分解可以被用来计算矩阵的伪逆。若矩阵 M 的奇异值分解为 ，那么 M 的伪逆为其中 是 的伪逆，并将其主对角线上每个非零元素都求倒数之后再转置得到的。求伪逆通常可以用来求解线性最小平方、最小二乘法问题。 奇异值分解在统计中的主要应用为主成分分析（PCA），种数据分析方法，用来找出大量数据中所隐含的“模式”,它可以用在模式识别，数据压缩等方面。PCA算法的作用是把数据集映射到低维空间中去。 数据集的特征值（在SVD中用奇异值表征）按照重要性排列，降维的过程就是舍弃不重要的特征向量的过程，而剩下的特征向量组成的空间即为降维后的空间。几种编程语言中计算SVD的函式范例matlab：[b c d]=svd(x)OpenCV:void cvSVD( CvArr* A, CvArr* W, CvArr* U=NULL, CvArr* V=NULL, int flags=0 )

假设M是一个m×n阶矩阵，其中的元素全部属于域 K，也就是 实数域或复数域。如此则存在一个分解使得M = UΣV*，其中U是m×m阶酉矩阵；Σ是半正定m×n阶对角矩阵；而V*，即V的共轭转置，是n×n阶酉矩阵。这样的分解就称作M的奇异值分解。Σ对角线上的元素Σi,i即为M的奇异值。常见的做法是为了奇异值由大而小排列。如此Σ便能由M唯一确定了。(虽然U和V仍然不能确定。)奇异值分解在某些方面与对称矩阵或Hermite矩阵基于特征向量的对角化类似。然而这两种矩阵分解尽管有其相关性，但还是有明显的不同。对称阵特征向量分解的基础是谱分析，而奇异值分解则是谱分析理论在任意矩阵上的推广。

[U,S,V]=svd(A)奇异值分解，就是要把矩阵A分解成U*S*V"(V"代表V转置).其中US是正交矩阵（复数域对应为酉矩阵）奇异值分解可以用来求矩阵的逆，数据压缩等等，不过具体的用法不是几句话就能说清楚的。总之，奇异值分解特别重要。

非负矩阵分解与奇异值分解的优点：对称阵特征向量分解的基础是谱分析，而奇异值分解则是谱分析理论在任意矩阵上的推广。缺点：存在一些小的差异，奇异值分解需要对奇异值从大到小的排序，而且全部是大于等于零。所有的矩阵都可以进行奇异值分解，而只有方阵才可以进行特征值分解。当所给的矩阵是对称的方阵，A(T)=A，二者的结果是相同的。也就是说对称矩阵的特征值分解是所有奇异值分解的一个特例。从多元统计的观点看NMF是在非负性的限制下，在尽可能保持信息不变的情况下，将高维的随机模式简化为低维的随机模式H，而这种简化的基础是估计出数据中的本质结构W；从代数的观点看，NMF是发现数据的一种内在非负(或蕴涵更多性质的)代数分解形式或表示方法。从维数约减的观点看，因为基矩阵W和系数矩阵H同时由NMF来确定，系数矩阵H并非为数据矩阵V在W上的投影，所以NMF实现的是非线性的维数约减。

奇异值分解有两种用法，一是：s=svd(A),得出的s是列矢量；二是：[u,s,v]=svd(A),得出的s是一个对角矩阵，对角线上的元素就是奇异值。你的程序就可能是后一种情形。

大数据定义 数据被定义为过于巨大的数据集合，以至于变得难以使用传统技术来处理。大数据的大体现在三个方面： 使用如此之多的维度进行工作的复杂性驱动了各种各样的数据技术的需求来过滤信息，让数据看起来能更好的解决问题。过滤器通过移除高纬度数据集中的冗余信息来降低维度。 我们可以把将为理解为对数据的信息压缩，类似于压缩1000 1000的图像到64 64分辨率，同样也是能够理解图片的意思的。 在大数据降维的核心算法SVD，我们称之为奇异值分解。SVD的公式是： 这个公式的含义是，原始数据矩阵M被分解为三个矩阵的乘积。 最关键的是要理解s所代表的意思，比如s所有元素的和事100，s的第一个值是99，这就意味99%的信息储存在了U和Vh的第一列中。因此你可以愉快的抛弃第一列之后的所有剩余列，而又不会丢失数据的重要信息，只丢失了1%的信息，对数据来说并不太重要。 这个例子中需要降维的数据M，包含4个样例，每个样例包括3个特征值。下面我们就使用linalg模块的svd函数，进行分解矩阵： 通过s里的值可以看出第一列包含了大部分信息（超过80%）。第二列有些值（大约14%），第三列则包含了参与的信息。 当然svd公式是可逆的，就是分解出来的这三个矩阵还能通过点乘还原原始的矩阵。注意，矩阵s实际上是对角矩阵，还原的时候要使用对角矩阵参与运算。 可以看出还原之后的back_M和之前的M矩阵是一样的。 SVD输出的三个矩阵入手，想办法去除第三列的内容。U取U[:,:2]，变成(4,2),s取s[:2]，变成了(2,)，Vh取Vh[:2,:]，变成了(2,3) 可以看出即使丢失最后一列的数值，还原之后和过去相比有一些差别，但是并不是很大。也是就是说可以用更少的维度取保存过去的值。 看到这里你可能都有点疑惑，到底是哪里降维了呢？从过去的(4,3)矩阵，变成现在三个矩阵(4,3)(3,)(3,3)，不但维度没有降，而且还增加一些数据。 假如说我们忽略最后一列的信息，变成三个矩阵(4,1),(1,),(1,3)，从过去的4x3=12个数字，变成现在的4+1+3个数字，确实是降了。但是我们应该如何利用这三个矩阵参与机器学习中呢？

svd同样可以用于复数矩阵；另外svd(A)，需要A是一个矩阵

设A为m*n阶矩阵，A"表示A的转置矩阵，A"*A的n个特征值的非负平方根叫作A的奇异值。记为σi(A)。这几天做实验涉及到奇异值分解svd(singular value decomposition)，涉及到这样的一个问题，做PCA时候400幅图像拉成向量按列摆放，结果摆成了比如说10000*400大小的矩阵，用到svd函数进行奇异值分解找主分量，结果MATLAB提示超出内存，后来想起还有个函数叫svds，看到别人用过，以为只是一个变体，没什么区别，就用上了，结果确实在预料之中。但是今天觉得不放心，跑到变量里面看了下，发现这个大的矩阵被分解成了三个10000*6，6*6，400*6大小的矩阵的乘积，而不是普通的svd分解得到的10000*10000，10000*400，400*400大小的矩阵乘积，把我吓了一跳，都得到预期的结果，难不成这里还出个篓子？赶紧试验，发现任给一个M*N大小的矩阵，都是被分解成了M*6，6*6，N*6大小的矩阵的乘积，为什么都会出现6呢？确实很纳闷。help svds看了一下，发现SVDS(A) 返回的就是svds返回的就是最大的6个特征值及其对应的特征行向量和特征列向量，还好，我们实验中是在svds得到列向量中再取前5个最大的列向量，这个与普通的svd得到的结果是一致的，虚惊一场。。。还得到了一些别的，比如改变这个默认的设置，比如用[u,d,v]=svds(A,10)将得到最大的10个特征值及其对应的最大特征行向量和特征列向量，[u,d,v]=svds(A,10，0)将得到最小的10个特征值及其对应的特征行向量和特征列向量，[u,d,v]=svds(A,10，2)将得到与2最接近的10个特征值及其对应的特征行向量和特征列向量。总之，相比svd，svds的可定制性更强。奇异值分解非常有用，对于矩阵A(m*n)，存在U(m*m)，V(n*n)，S(m*n)，满足A = U*S*V"。U和V中分别是A的奇异向量，而S是A的奇异值。AA"的正交单位特征向量组成U，特征值组成S"S，A"A的正交单位特征向量组成V，特征值（与AA"相同）组成SS"。

是的。根据查询相关资料得知，PAC中的奇异值特征值分解只能运用于方阵，对于普通的非方阵就不适用。

不可以，这是由奇异值分解的定义来决定的，而且虽然我们学习的顺序是先学实数后学复数，但是实际上正交的定义是从复数域下简化而来，因为虚部为0才简化成这样，所以在复数域下讨论正交的意义很小。奇异值分解定义的时候用的就是证明了对于m*n矩阵，必存在m阶酉矩阵U和n阶酉矩阵V,S.T U^HAV=S。

奇异值分解(Singular Value Decomposition，以下简称SVD) 是在机器学习领域广泛应用的算法，它不光可以用于 降维算法中的特征分解 ，还可以用于 推荐系统 ，以及自然语言处理等领域。 优点： 简化数据，去除噪声，提高算法的结果。 缺点： 数据的转换可能难以理解。 应用领域： 推荐引擎（协同过滤、相似度计算）、图像压缩等。 SVD定义： 如果我们求出了矩阵A的n个特征值λ1≤λ2≤...≤λn，以及这n个特征值所对应的特征向量{w1,w2,...wn}，如果这n个特征向量线性无关，那么矩阵A就可以用下式的特征分解表示：A=WΣW−1，其中W是这n个特征向量所张成的n×n维矩阵，而Σ为这n个特征值为主对角线的n×n维矩阵。一般我们会把W的这n个特征向量标准化，即满足||wi||2=1, 或者wiTwi=1，此时W的n个特征向量为标准正交基，满WTW=I，即WT=W−1, 也就是说W为酉矩阵。要进行特征分解，矩阵A必须为方阵。那么如果A不是方阵，则用到SVD。 矩阵A的SVD为：A=UΣVT，其中U是一个m×m的矩阵，Σ是一个m×n的矩阵，除了主对角线上的元素以外全为0，主对角线上的每个元素都称为奇异值，V是一个n×n的矩阵。U和V都是酉矩阵，即满足UTU=I,VTV=I。 对于奇异值,它跟我们特征分解中的特征值类似，在奇异值矩阵中也是按照从大到小排列，而且奇异值的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上的比例。也就是说，我们也可以用最大的k个的奇异值和对应的左右奇异向量来近似描述矩阵。 因此SVD 也是一种强大的降维工具 ，可以利用 SVD 来逼近矩阵并从中获得主要的特征。通过保留矩阵的 80%~90% 的能量，就可以得到重用的特征并去除噪声。 推荐系统 是利用电子商务网站向客户提供商品信息和建议，帮助用户决定应该购买什么产品，模拟销售人员帮助客户完成购买过程。 主要有以下几种推荐算法： 基于内容的推荐（用到自然语言处理）， 协同过滤（主流） ，基于规则推荐（基于最多用户点击，最多用户浏览等），混合推荐（类似集成算法，投票决定），基于人口统计信息的推荐（根据用户基本信息） 协同过滤推荐分为三种类型。 第一种是基于用户(user-based)的协同过滤（需要在线找用户和用户之间的相似度关系），第二种是基于项目(item-based)的协同过滤（基于项目的协同过滤可以离线找物品和物品之间的相似度关系）， 第三种是基于模型(model based)的协同过滤（用户和物品，主流）。 一般在推荐系统中，数据往往是使用 用户-物品 矩阵来表示的。 用户对其接触过的物品进行评分，评分表示了用户对于物品的喜爱程度，分数越高，表示用户越喜欢这个物品。而这个矩阵往往是稀疏的，空白项是用户还未接触到的物品，推荐系统的任务则是选择其中的部分物品推荐给用户。 对于这个 用户-物品 矩阵，用已有的部分稀疏数据来预测那些空白的物品和数据之间的评分关系，找到最高评分的物品推荐给用户。 具体基于模型的方法有： 用关联算法做协同过滤（Apriori算法、FP Tree算法） 用聚类算法做协同过滤（针对基于用户或者基于模型，Kmeans，DBSCAN） 用分类算法做协同过滤（设定评分阈值，高于推荐，低于不推荐，逻辑回归和朴素贝叶斯，解释性很强） 用回归算法做协同过滤（Ridge回归，回归树） 用矩阵分解做协同过滤（由于传统的奇异值分解SVD要求矩阵不能有缺失数据，必须是稠密的，而用户物品评分矩阵是一个典型的稀疏矩阵，主要是SVD的一些变种，比如FunkSVD，BiasSVD和SVD++。这些算法和传统SVD的最大区别是不再要求将矩阵分解为UΣVT的形式，而变是两个低秩矩阵PTQ的乘积形式。） 用神经网络做协同过滤（限制玻尔兹曼机RBM） 在 Python 的 numpy 中，linalg已经实现了SVD

特征值和特征向量的定义如下： 其中A是一个 n×n 的矩阵，x 是一个 n 维向量，则我们说λ是矩阵 A 的一个特征值， 而 x 是矩阵 A 的特征值λ所对应的特征向量。求出特征值和特征向量有什么好处呢？ 就是我们可以将矩阵 A 特征分解。如果我们求出了矩阵 A 的 n 个特征值 ，以及矩阵这n个特征值所对应的特征向量 。那么矩阵A就可以用下式的特征分解表示： ，其中 为特征向量组成的矩阵， 是特征值所组成的对角矩阵。特征值分解 的前提条件是A是方阵。如果A不是方阵，这种分解（对角化）将无效。 怎样解决这个问题呢？ 因此出现了奇异值分解。 奇异值分解可表示成： 如何进行奇异值分解呢？？ 奇异值分解性质

这字好像姚强啊喂，题主是某届学长or学姐吗，今年他又把345题扒拉出来当作业了hhh

因为U 和V 向量都是单位化的向量, 我们知道U的列向量u1,...,um组成了K空间的一组标准正交基。同样，V的列向量v1,...,vn也组成了K空间的一组标准正交基(根据向量空间的标准点积法则).线性变换T: K → K，把向量Nx变换为Mx。考虑到这些标准正交基，这个变换描述起来就很简单了: T(vi) = σi ui, for i = 1,...,min(m,n), 其中σi 是对角阵Σ中的第i个元素; 当i > min(m,n)时，T(vi) = 0。这样，SVD理论的几何意义就可以做如下的归纳：对于每一个线性映射T: K → K，T把K的第i个基向量映射为K的第i个基向量的非负倍数,然后将余下的基向量映射为零向量。对照这些基向量，映射T就可以表示为一个非负对角阵。

个人认为数学专业不学，除非你自己感兴趣Sir. Roger Penrose是大神，数学系怎么可能用大神的东西来显示教授们的无知？奇异值分解，数学建模课上学过

整个项目的结构图：编写DetectFaceDemo.java,代码如下：[java] view plaincopyprint?package com.njupt.zhb.test; import org.opencv.core.Core; import org.opencv.core.Mat; import org.opencv.core.MatOfRect; import org.opencv.core.Point; import org.opencv.core.Rect; import org.opencv.core.Scalar; import org.opencv.highgui.Highgui; import org.opencv.objdetect.CascadeClassifier; // // Detects faces in an image, draws boxes around them, and writes the results // to "faceDetection.png". // public class DetectFaceDemo { public void run() { System.out.println(" Running DetectFaceDemo"); System.out.println(getClass().getResource("lbpcascade_frontalface.xml").getPath()); // Create a face detector from the cascade file in the resources // directory. //CascadeClassifier faceDetector = new CascadeClassifier(getClass().getResource("lbpcascade_frontalface.xml").getPath()); //Mat image = Highgui.imread(getClass().getResource("lena.png").getPath()); //注意：源程序的路径会多打印一个‘/"，因此总是出现如下错误 /* * Detected 0 faces Writing faceDetection.png libpng warning: Image * width is zero in IHDR libpng warning: Image height is zero in IHDR * libpng error: Invalid IHDR data */ //因此，我们将第一个字符去掉 String xmlfilePath=getClass().getResource("lbpcascade_frontalface.xml").getPath().substring(1); CascadeClassifier faceDetector = new CascadeClassifier(xmlfilePath); Mat image = Highgui.imread(getClass().getResource("we.jpg").getPath().substring(1)); // Detect faces in the image. // MatOfRect is a special container class for Rect. MatOfRect faceDetections = new MatOfRect(); faceDetector.detectMultiScale(image, faceDetections); System.out.println(String.format("Detected %s faces", faceDetections.toArray().length)); // Draw a bounding box around each face. for (Rect rect : faceDetections.toArray()) { Core.rectangle(image, new Point(rect.x, rect.y), new Point(rect.x + rect.width, rect.y + rect.height), new Scalar(0, 255, 0)); } // Save the visualized detection. String filename = "faceDetection.png"; System.out.println(String.format("Writing %s", filename)); Highgui.imwrite(filename, image); } } package com.njupt.zhb.test;import org.opencv.core.Core;import org.opencv.core.Mat;import org.opencv.core.MatOfRect;import org.opencv.core.Point;import org.opencv.core.Rect;import org.opencv.core.Scalar;import org.opencv.highgui.Highgui;import org.opencv.objdetect.CascadeClassifier;//// Detects faces in an image, draws boxes around them, and writes the results// to "faceDetection.png".//public class DetectFaceDemo { public void run() { System.out.println(" Running DetectFaceDemo"); System.out.println(getClass().getResource("lbpcascade_frontalface.xml").getPath()); // Create a face detector from the cascade file in the resources // directory. //CascadeClassifier faceDetector = new CascadeClassifier(getClass().getResource("lbpcascade_frontalface.xml").getPath()); //Mat image = Highgui.imread(getClass().getResource("lena.png").getPath()); //注意：源程序的路径会多打印一个‘/"，因此总是出现如下错误/** Detected 0 faces Writing faceDetection.png libpng warning: Image* width is zero in IHDR libpng warning: Image height is zero in IHDR* libpng error: Invalid IHDR data*/ //因此，我们将第一个字符去掉 String xmlfilePath=getClass().getResource("lbpcascade_frontalface.xml").getPath().substring(1); CascadeClassifier faceDetector = new CascadeClassifier(xmlfilePath); Mat image = Highgui.imread(getClass().getResource("we.jpg").getPath().substring(1)); // Detect faces in the image. // MatOfRect is a special container class for Rect. MatOfRect faceDetections = new MatOfRect(); faceDetector.detectMultiScale(image, faceDetections); System.out.println(String.format("Detected %s faces", faceDetections.toArray().length)); // Draw a bounding box around each face. for (Rect rect : faceDetections.toArray()) { Core.rectangle(image, new Point(rect.x, rect.y), new Point(rect.x + rect.width, rect.y + rect.height), new Scalar(0, 255, 0)); } // Save the visualized detection. String filename = "faceDetection.png"; System.out.println(String.format("Writing %s", filename)); Highgui.imwrite(filename, image); }}3.编写测试类：[java] view plaincopyprint?package com.njupt.zhb.test; public class TestMain { public static void main(String[] args) { System.out.println("Hello, OpenCV"); // Load the native library. System.loadLibrary("opencv_java246"); new DetectFaceDemo().run(); } } //运行结果: //Hello, OpenCV // //Running DetectFaceDemo ///E:/eclipse_Jee/workspace/JavaOpenCV246/bin/com/njupt/zhb/test/lbpcascade_frontalface.xml //Detected 8 faces //Writing faceDetection.png package com.njupt.zhb.test;public class TestMain { public static void main(String[] args) { System.out.println("Hello, OpenCV"); // Load the native library. System.loadLibrary("opencv_java246"); new DetectFaceDemo().run(); }}//运行结果://Hello, OpenCV////Running DetectFaceDemo///E:/eclipse_Jee/workspace/JavaOpenCV246/bin/com/njupt/zhb/test/lbpcascade_frontalface.xml//Detected 8 faces//Writing faceDetection.png

矩阵的迹 trace 方阵对角元素之和 Singular value decompostion 奇异值分解非常有用，对于矩阵A(p*q)，存在U(p*p)，V(q*q)，B(p*q)（由对角阵与增广行或列组成），满足A = U*B*V U和V中分别是A的奇异向量，而B中是A的奇异值。AA"的特征向量组成U，特征值组成B"B，A"A的特征向量组成V，特征值（与AA"相同）组成BB"。因此，奇异值分解和特征值问题紧密联系。 如果A是复矩阵，B中的奇异值仍然是实数。 SVD提供了一些关于A的信息，例如非零奇异值的数目（B的阶数）和A的阶数相同，一旦阶数确定，那么U的前k列构成了A的列向量空间的正交基。 在数值分析中，由于数值计算误差，测量误差，噪声以及病态矩阵，零奇异值通常显示为很小的数目。 将一个矩阵分解为比较简单或者性质比较熟悉的矩阵之组合，方便讨论和计算。由于矩阵的特征值和特征向量在化矩阵为对角形的问题中占有特殊位置， 因此矩阵的特征值分解。。。尽管矩阵的特征值具有非常好的性质，但是并不是总能正确地表示矩阵的“大小”。矩阵的奇异值和按奇异值分解是矩阵理论和应用中十分重要的内容，已成为多变量反馈控制系统最重要最基本的分析工具之一，奇异值实际上是复数标量绝对值概念的推广， 表示了反馈控制系统的输出/输入增益，能反映控制系统的特性。《鲁棒控制。。倾斜转弯导弹》 昨天看了一个网页，，知道了奇异值分解就是把矩阵A分解成hanger，stretcher，aligner的三重积。从几何意义上讲矩阵A乘以几何图形（用数值序列x，y代表），相当于对几何图形先扭转，再拉伸，再扭转。从这里也知道，“正交”的概念特别有用。一对最简单的正交基（orthogonal basis,perpframe）是p1 = [cos(s) sin(s)]，p2 = [-sin(s) cos(s)]，它可以用于几何变换。

矩阵的迹 trace 方阵对角元素之和 Singular value decompostion 奇异值分解非常有用，对于矩阵A(p*q)，存在U(p*p)，V(q*q)，B(p*q)（由对角阵与增广行或列组成），满足A = U*B*V U和V中分别是A的奇异向量，而B中是A的奇异值。AA"的特征向量组成U，特征值组成B"B，A"A的特征向量组成V，特征值（与AA"相同）组成BB"。因此，奇异值分解和特征值问题紧密联系。 如果A是复矩阵，B中的奇异值仍然是实数。 SVD提供了一些关于A的信息，例如非零奇异值的数目（B的阶数）和A的阶数相同，一旦阶数确定，那么U的前k列构成了A的列向量空间的正交基。 在数值分析中，由于数值计算误差，测量误差，噪声以及病态矩阵，零奇异值通常显示为很小的数目。 将一个矩阵分解为比较简单或者性质比较熟悉的矩阵之组合，方便讨论和计算。由于矩阵的特征值和特征向量在化矩阵为对角形的问题中占有特殊位置， 因此矩阵的特征值分解。。。尽管矩阵的特征值具有非常好的性质，但是并不是总能正确地表示矩阵的“大小”。矩阵的奇异值和按奇异值分解是矩阵理论和应用中十分重要的内容，已成为多变量反馈控制系统最重要最基本的分析工具之一，奇异值实际上是复数标量绝对值概念的推广， 表示了反馈控制系统的输出/输入增益，能反映控制系统的特性。《鲁棒控制。。倾斜转弯导弹》 昨天看了一个网页，，知道了奇异值分解就是把矩阵A分解成hanger，stretcher，aligner的三重积。从几何意义上讲矩阵A乘以几何图形（用数值序列x，y代表），相当于对几何图形先扭转，再拉伸，再扭转。从这里也知道，“正交”的概念特别有用。一对最简单的正交基（orthogonal basis,perpframe）是p1 = [cos(s) sin(s)]，p2 = [-sin(s) cos(s)]，它可以用于几何变换。

奇异值分解是线性代数中一种重要的矩阵分解,在信号处理、统计学等领域有重要应用.奇异值分解在某些方面与对称矩阵或Hermite矩阵基于特征向量的对角化类似.然而这两种矩阵分解尽管有其相关性,但还是有明显的不同.对称阵特征向量分解的基础是谱分析,而奇异值分解则是谱分析理论在任意矩阵上的推广. 在MATLAB中的话!其目的应该是用来把线性方程组的系数距阵或推广距阵化为下三角型! 最终目的是求解线性方程组 尽我所能了哈! 不一定对! 因为我学“数据结构”和“数学实验”已经很久了!,6,

问题一：MATLAB中SVD奇异值分解是什么作用? 奇异值分解 (sigular value deposition,SVD) 是另一种正交矩阵分解法；SVD是最可靠的分解法，但是它比QR 分解法要花上近十倍的计算时间。[U,S,V]=svd(A)，其中U和V代表二个相互正交矩阵，而S代表一对角矩阵。 和QR分解法相同者， 原矩阵A不必为正方矩阵。 使用SVD分解法的用途是解最小平方误差法和数据压缩 问题二：值分解和奇异值分解有什么不同 你把两者的定义都搞清楚自然就能看到有什么不同 如果问两者有和联系才比较合理，不过你还没到那个程度 问题三：奇异值分解为什么奇异值要递减排列？ 奇异值表示相应的部分构成的矩阵具有的能量可以代表原来的整个矩阵， 问题四：MATLAB中SVD奇异值分解是什么作用 答案1：： 奇异值分解 (sigular value deposition,SVD) 是另一 种正交矩阵分解法；SVD是最可靠的分解法，但是它比QR 分解法要花 上近十倍的计算时间。[U,S,V]=svd(A)，其中U和V代表二个相互正交 矩阵，而S代表一对角矩阵。 和QR分解法相同者， 原矩阵A不必为正方矩阵。 使用SVD分解法的用途是解最小平方误差法和数据压缩 答案2：： 奇异值分解是线性代数中一种重要的矩阵分解，在信号处 啊？答案3：： [U,S,V]=svd(A)奇异值分解，就是要把矩阵A分解成 U*S*V" (V"代表V转置).其中U S是正交矩阵（复数域对应为酉矩阵） 奇异值分解可以用来求矩阵的逆，数据压缩等等，不过具体的用法不 是几句话就能说清楚的。总之，奇异值分解特别重要。 :::::::::::::::::::请参考以下相关问题:::::::::::::::::::: 求matlab中的矩阵的奇异值分解（SVD）程序 :::::::::::::::::::请参考以下相关问题:::::::::::::::::::: 最近在翻译matlab代码为VC代码，遇到SVD奇异值分解卡住了。 :::::::::::::::::::请参考以下相关问题:::::::::::::::::::: :::::::::::::::::::请参考以下相关问题:::::::::::::::::::::::::::::::::::::::请参考以下相关问题::::::::::::::::::::

这是矩阵论里面的一种矩阵分解方法，先找矩阵的奇异值，然后按照步骤做就可以将一个矩阵分解三个矩阵的相乘。随便找一本矩阵论的书里面都有。

奇异值分解是线性代数中一种重要的矩阵分解，在信号处理、统计学等领域有重要应用。奇异值分解在某些方面与对称矩阵或Hermite矩阵基于特征向量的对角化类似。然而这两种矩阵分解尽管有其相关性，但还是有明显的不同。对称阵特征向量分解的基础是谱分析，而奇异值分解则是谱分析理论在任意矩阵上的推广。在MATLAB中的话！其目的应该是用来把线性方程组的系数距阵或推广距阵化为下三角型！最终目的是求解线性方程组 尽我所能了哈！不一定对！因为我学“数据结构”和“数学实验”已经很久了！！！

特征值分解和奇异值分解的区别所有的矩阵都可以进行奇异值分解，而只有方阵才可以进行特征值分解。当所给的矩阵是对称的方阵，A(T)=A，二者的结果是相同的。也就是说对称矩阵的特征值分解是所有奇异值分解的一个特例。但是二者还是存在一些小的差异，奇异值分解需要对奇异值从大到小的排序，而且全部是大于等于零。对于特征值分解[v,d]=eig(A),即A=v*d*inv(v)对于奇异值分解,其分解的基本形式为[u,s,v]=svd(C),C=u*s*v".若C阵为对称的方阵,则有u=v;所以有C=v*s*v";

基本介绍奇异值分解在某些方面与对称矩阵或Hermite矩阵基于特征向量的对角化类似。然而这两种矩阵分解尽管有其相关性，但还是有明显的不同。对称阵特征向量分解的基础是谱分析，而奇异值分解则是谱分析理论在任意矩阵上的推广。[1]编辑本段理论描述假设M是一个m×n阶矩阵，其中的元素全部属于域K，也就是实数域或复数域。如此则存在一个分解使得M=UΣV*，其中U是m×m阶酉矩阵;Σ是半正定m×n阶对角矩阵;而V*，即V的共轭转置，是n×n阶酉矩阵。这样的分解就称作M的奇异值分解。Σ对角线上的元素Σi,i即为M的奇异值。常见的做法是为了奇异值由大而小排列。如此Σ便能由M唯一确定了。(虽然U和V仍然不能确定。)直观的解释[2]在矩阵M的奇异值分解中M=UΣV*·V的列(columns)组成一套对M的正交"输入"或"分析"的基向量。这些向量是M*M的特征向量。·U的列(columns)组成一套对M的正交"输出"的基向量。这些向量是MM*的特征向量。·Σ对角线上的元素是奇异值，可视为是在输入与输出间进行的标量的"膨胀控制"。这些是M*M及MM*的奇异值，并与U和V的行向量相对应。奇异值和奇异向量,以及他们与奇异值分解的关系一个非负实数σ是M的一个奇异值仅当存在Km的单位向量u和Kn的单位向量v如下:其中向量u和v分别为σ的左奇异向量和右奇异向量。对于任意的奇异值分解矩阵Σ的对角线上的元素等于M的奇异值.U和V的列分别是奇异值中的左、右奇异向量。因此,上述定理表明:一个m×n的矩阵至少有一个最多有p=min(m,n)个不同的奇异值。总是可以找到在Km的一个正交基U，组成M的左奇异向量。总是可以找到和Kn的一个正交基V，组成M的右奇异向量。如果一个奇异值中可以找到两个左(或右)奇异向量是线性相关的，则称为退化。非退化的奇异值具有唯一的左、右奇异向量，取决于所乘的单位相位因子eiφ(根据实际信号)。因此，如果M的所有奇异值都是非退化且非零，则它的奇异值分解是唯一的，因为U中的一列要乘以一个单位相位因子且同时V中相应的列也要乘以同一个相位因子。根据定义，退化的奇异值具有不唯一的奇异向量。因为，如果u1和u2为奇异值σ的两个左奇异向量，则两个向量的任意规范线性组合也是奇异值σ一个左奇异向量，类似的，右奇异向量也具有相同的性质。因此，如果M具有退化的奇异值，则它的奇异值分解是不唯一的。与特征值分解的联系几何意义因为U和V向量都是单位化的向量,我们知道U的列向量u1,...,um组成了Km空间的一组标准正交基。同样，V的列向量v1,...,vn也组成了Kn空间的一组标准正交基(根据向量空间的标准点积法则).线性变换T:Kn→Km，把向量x变换为Mx。考虑到这些标准正交基，这个变换描述起来就很简单了:T(vi)=σiui,fori=1,...,min(m,n),其中σi是对角阵Σ中的第i个元素;当i>min(m,n)时，T(vi)=0。这样，SVD理论的几何意义就可以做如下的归纳:对于每一个线性映射T:Kn→Km，T把Kn的第i个基向量映射为Km的第i个基向量的非负倍数,然后将余下的基向量映射为零向量。对照这些基向量，映射T就可以表示为一个非负对角阵。

mode中选6matrix先定义你要的一个矩阵（最多是3*3）按Ac结束shift+4，选1定义另一个矩阵。若要该数据则选2.除了要按shift+4+3/4/5选择矩阵，与普通乘法一样输入即可。

是的

特征值分解和奇异值分解的区别所有的矩阵都可以进行奇异值分解，而只有方阵才可以进行特征值分解。当所给的矩阵是对称的方阵，A(T)=A，二者的结果是相同的。也就是说对称矩阵的特征值分解是所有奇异值分解的一个特例。但是二者还是存在一些小的差异，奇异值分解需要对奇异值从大到小的排序，而且全部是大于等于零。对于特征值分解 [v,d] = eig( A ) , 即 A = v*d*inv(v)对于奇异值分解,其分解的基本形式为 [u,s,v] = svd(C), C = u*s*v". 若C阵为对称的方阵, 则有 u = v; 所以有 C = v*s*v";

假设M是一个m×n阶矩阵，其中的元素全部属于域K，也就是实数域或复数域。如此则存在一个分解使得M=UΣV*，其中U是m×m阶酉矩阵；Σ是半正定m×n阶对角矩阵；而V*，即V的共轭转置，是n×n阶酉矩阵。这样的分解就称作M的奇异值分解。Σ对角线上的元素Σi,i即为M的奇异值。常见的做法是为了奇异值由大而小排列。如此Σ便能由M唯一确定了。(虽然U和V仍然不能确定。)奇异值分解在某些方面与对称矩阵或Hermite矩阵基于特征向量的对角化类似。然而这两种矩阵分解尽管有其相关性，但还是有明显的不同。对称阵特征向量分解的基础是谱分析，而奇异值分解则是谱分析理论在任意矩阵上的推广。

你先讲清楚你能理解到什么程度，然后我再视情况帮你稍微加深一下理解。

因为 A 乘列向量 (1,1,1.,1)^T 时 相当于把A的各行加起来构成一个列向量。我知道你是想问各行元素的和（设为a）相等，这个和等于特征值吧。特征多项式|A-rE|把从第二列开始的每一列加到第一列，就可以提出一个公因式（a-r），所以a是矩阵A的特征值。

svd是什么意思如下：奇异值分解 (sigular value decomposition,SVD) 是一种正交矩阵分解法；SVD是最可靠的分解法，但是它比QR 分解（QR分解法是将矩阵分解成一个正规正交矩阵与上三角形矩阵。）法要花上近十倍的计算时间。[U,S,V]=svd(A)，其中U和V代表二个相互正交矩阵，而S代表一对角矩阵。 和QR分解法相同者， 原矩阵A不必为正方矩阵。使用SVD分解法的用途是解最小平方误差法和数据压缩。函数 svd格式 s = svd (X) %返回矩阵X 的奇异值向量[U,S,V] = svd (X) %返回一个与X 同大小的对角矩阵S，两个酉矩阵U 和V，且满足= USV"。若A 为m×n 阵，则U 为m×m 阵，V为n×n 阵。奇异值在S 的对角线上，非负且按降序排列。[U,S,V] = svd (X,0) %得到一个“有效大小”的分解，只计算出矩阵U 的前n列，矩阵S 的大小为n×n。扩展资料使用误区>> S=svd(A)??? Undefined function or method "svd" for input arguments of type "uint8".出错原因，A的数据类型为uint8解决办法S=svd（double（A））>> S=SVD(double(A))??? Undefined function or method "SVD" for input arguments of type "double".出错原因，SVD在R2011a中不能被调用，区分大小写解决办法S=svd（double（A））

奇异值分解有两种用法，一是：s=svd(A),得出的s是列矢量；二是：[u,s,v]=svd(A),得出的s是一个对角矩阵，对角线上的元素就是奇异值。你的程序就可能是后一种情形。

标题里的问题是不可能出现的, 不过你描述的问题是有可能的, 说明你算错了首先要注意, 尽管不同的矩阵不可能有相同的SVD, 但对于同一个矩阵来讲, SVD不是唯一的比较简单的情况, A=∑σ_i v_i u_i^T, 可以看出即使没有重奇异值v_i和u_i也可能不唯一, 比如(v_i*z)(u_i^T/z)也满足条件, 其中z是单位复数有重奇异值的时候U和V松动的余地更大所以我估计你的算法里U和V是分开算的, 并没有互相故及对方

矩阵的迹：主对角线(左上至右下的那一条)上所有元素之和。