对称半正定矩阵一定可以特征值分解吗？

粗略一点讲，Jacobi算法相对慢一些，但精度高一些；QR算法相对快一些，但精度低一些。

当A可逆时,若 λ是A的特征值,α 是A的属于特征值λ的特征向量,则 |A| / λ 是 A*的特征值,α 仍是A*的属于特征值 |A| / λ 的特征向量

这是因为matlab求解特征值用的是数值解法，对于奇异矩阵当然是有复数的，但是更多的原因是因为数值解法导致的，可以先用SVD命令求解奇异值，实际上奇异值是特征值的开方，所以，而且奇异值求解排列是从大到小，当然接近零的话可能出现负数，就不一定满足这个规律了。

[证明] 充分性：已知A具有n个线性无关的特征向量X1，X2，……，则AXi=入iXi i=1,2,……,nA[X1 X2 ……Xn]=[入1X1 入2X2 ……入nXn]=[X1 X2 ……Xn]*X1，X2，Xn线性无关，故P=[X1 X2 Xn]为满秩矩阵，令V=*，则有AP=PVV=AP/P必要性：已知存在可逆方阵P，使AP/P=V=*将P写成列向量P=[P1 P2 Pn] Pn为n维列向量[AP1 AP2……APn]=[入1P1 入2P2……入nPn]可见，入i为A的特征值，Pi为A的特征向量，所以，A具有n个线性无关的特征向量。注：因为上面的过程是我自己手工打上去的，好多符号百度都打不出来，将就能看懂就好，其中*表示的是一个n阶对角矩阵，对角线上的矢量分别为入1，入2……入nn阶矩阵在复数范围内，一定有n个特征值（重特征值按重数计算个数），从这个意义上说，矩阵的特征值个数与矩阵的阶数是有关系的。n阶矩阵在实数范围内有多少个特征值就不一定了。但是有一个重要的结论需要知道：n阶实对称矩阵一定有n个实特征值（重特征值按重数计算个数）。

【知识点】若矩阵A的特征值为λ1，λ2，...，λn，那么|A|=λ1·λ2·...·λn【解答】|A|=1×2×...×n=n！设A的特征值为λ，对于的特征向量为α。则Aα=λα那么(A²-A)α=A²α-Aα=λ²α-λα=(λ²-λ)α所以A²-A的特征值为λ²-λ，对应的特征向量为αA²-A的特征值为0，2，6，...，n²-n【评注】对于A的多项式，其特征值为对应的特征多项式。线性代数包括行列式、矩阵、线性方程组、向量空间与线性变换、特征值和特征向量、矩阵的对角化，二次型及应用问题等内容。

1. "正交矩阵的特征值只能是1或者-1"这个是严重错误！随便给你个例子0 1 00 0 11 0 02. "是什么保证了它有足够的特征向量使得它一定可以特征值分解"本质上讲正交矩阵是正规矩阵，所有的正规矩阵都可以酉对角化（当然这个不是非常容易证明，先要酉上三角化，然后用正规性得到非对角元全为零）。如果你已经知道Hermite矩阵可以酉对角化的话还可以用Cayley变换建立酉阵和Hermite矩阵的联系，这样就可以把酉阵看作Hermite阵的矩阵函数，从而也可以酉对角化。

|A-λE|= 2-λ 2 -2 2 5-λ -4 -2 -4 5-λ r3+r2 (消0的同时,还能提出公因子,这是最好的结果) 2-λ 2 -2 2 5-λ -4 0 1-λ 1-λ c2-c3 2-λ 4 -2 2 9-λ -4 0 0 1-λ = (1-λ)[(2-λ)(9-λ)-8] (按第3行展开,再用十字相乘法) = (1-λ)(λ^2-11λ+10) = (10-λ)(1-λ)^2. A的特征值为:λ1=10,λ2=λ3=1.

这种题就是先把方程完全写成一元三次方程，再带根试，-5到5，因为是正常做题，只要自己没做错的话肯定至少能试出一个根，然后就可以分解因式了，像这题就可以试出-4和5.其实一般的题3以内就能试出来。试的时候也不要死算，看奇偶啊，正负啊，个位数啊有时候就可以排除。

证明：根据题意：n/(n²+nπ) < 1/(n²+π) +1/(n²+2π)+.....+1/(n²+nπ) < n/(n²+π)因此：n²/(n²+nπ) < n[1/(n²+π) +1/(n²+2π)+.....+1/(n²+nπ)] < n²/(n²+π)又∵lim(n→∞) n²/(n²+nπ) = lim(n→∞) 1/[1+(π/n)] = 1lim(n→∞) n²/(n²+π)] = lim(n→∞) 1/[1+(π/n²)] = 1根据夹逼准则：原极限=1

如上所述，谱定理表明正方形矩阵可以对角化当且仅当它是正规的。对于更一般的未必正规的矩阵，我们有类似的结果。当然在一般的情况，有些要求必须放松，例如酉等价性或者最终的矩阵的对角性。 所有这些结果在一定程度上利用了特征值和特征向量。下面列出了一些这样的结果：舒尔三角形式表明任何酉矩阵等价于一个上三角矩阵；奇异值分解定理， A = UΣV * 其中Σ为对角阵，而U,V为酉矩阵。A = UΣV * 的对角线上的元素非负，而正的项称为A的奇异值。这对非正方形矩阵也成立；若当标准型，其中A = UΛU − 1 其中Λ不是对角阵，但是分块对角阵，而U是酉矩阵。若当块的大小和个数由特征值的几何和代数重次决定。若当分解是一个基本的结果。从它可以立即得到一个正方形矩阵可以完全用它的特征值包括重次来表述，最多只会相差一个酉等价。这表示数学上特征值在矩阵的研究中有着极端重要的作用。作为若当分解的直接结果，一个矩阵A可以“唯一”地写作A = S + N其中S可以对角化，N是幂零的（也即，对于某个q，Nq=0），而S和N可交换(SN=NS)。任何可逆矩阵A可以唯一地写作A = SJ，其中S可对角化而J是么幂矩阵（即使得特征多项式是(λ-1)的幂，而S和J可交换）。

特征值是线性代数中的一个重要概念。在数学、物理学、化学、计算机等领域有着广泛的应用。设 A 是n阶方阵，如果存在数m和非零n维列向量 x，使得 Ax=mx 成立，则称 m 是A的一个特征值（characteristic value)或本征值（eigenvalue)。非零n维列向量x称为矩阵A的属于（对应于）特征值m的特征向量或本征向量，简称A的特征向量或A的本征向量。————————摘自百度百科

想想特征向量的原始定义Ax= cx,你就恍然大悟了,看到了吗?cx是方阵A对向量x进行变换后的结果,但显然cx和x的方向相同),而且x是特征向量的话,ax也是特征向量(a是标 量且不为零),所以所谓的特征向量不是一个向量而是一个向量族, 另外,特征值只不过反映了特征向量在变换时的伸缩倍数而已

成分矩阵的结果解读：指成分得分系数矩阵，用来计算公共因子得分，两者综合得出权重。SPSS中的因子分析有三个矩阵：成份矩阵（未旋转）、旋转后的成份矩阵和成份得分矩阵，前两个就是我们俗称的因子载荷矩阵，只是一个旋转，一个不旋转而已。主成分分析中，没有旋转后的成份矩阵，因此只有成份矩阵和成份得分矩阵。在主成分分析中，计算主成分得分或因子得分时，需要使用的是第一个矩阵（未旋转的成份矩阵）的系数除以对应成份特征根的平方根作为指标的系数权重。若矩阵存在个线性无关特征向量，那么可以分解为 。这里是由个特征向量组成的方阵，是由个特征值组成的对角矩阵。若存在非零向量 ，它使得则称为特征值为特征向量。矩阵代表着对向量进行的线性变换，比如拉伸和旋转。从特征值和特征向量的定义来看，如果矩阵对某个向量只进行了拉伸那么这个向量就是特征向量，拉伸的程度就是特征值。成分矩阵的特征分解：当是一个实对称矩阵时，特征分解得到的特征向量正交，对特征向量标准化处理后成为正交矩阵，这时，也可以写成 。特征值分解只能用于方矩，而奇异值分解可以对形式的矩阵进行分解。若存在矩阵，通过奇异值分解可以表示为 。

代码如下：#include<stdio.h>int main() {int i, j;int max, row, colum;int a[3][4] = { { 1, 2, 3, 4 }, { 9, 8, 7, 6 }, { -10, 10, -5, 2 } };max = a[0][0];for (i = 0; i < 3; i++)for (j = 0; j < 4; j++)if (max < a[i][j]) {max = a[i][j];row = i;colum = j;}printf("max=%d row=%d colum=%d ", max, row, colum);return 0;}扩展资料矩阵的分解：1、LU分解(A = LU)U是高斯消元结果，可视为对A左乘P进行行变换，PA = U，有A = P-1U，则行变换矩阵的逆即为L。L对角线上为1。2、QR分解(A = QR)Q是A正交化的结果，是A列空间的标准正交基，因为Q是以第一列为初始方向向量，对其他列向量进行变换，故R的第一列只有第一个元素有值，则R是上三角矩阵。a1 = R11 * q1，R11是一个数。3、特征值分解(A = SS-1)S为特征向量组成的矩阵，是特征值组成的对角阵。前提条件：S可逆要求所有特征向量线性无关。若A为正定阵（光对称不行，因为奇异值是非负的），则S为正交阵，此时A = SST，正好可看作奇异值分解，正交阵乘非负特征值阵乘正交阵。

楼主的问题是自己写程序完成矩阵的QR分解，既然是迭代实现QR分解，就与矩阵论中说的计算特征值和特征向量的方法有些区别了。大体的步骤应该是首先将矩阵化成双对角矩阵，然后追赶计算特征值和特征向量，程序代码可以参考 徐士良编的 常用数值算...

第一列加到第三列 然后第一行*（-1）加到第三行 这样第一列就只剩下 一个数字了你把它提出来 就是提代数余子式的办法 就 OK啦

Lanczos算法是一种将对称矩阵通过正交相似变换变成对称三对角矩阵的算法，以20世纪匈牙利数学家Cornelius Lanczos命名。

特征值解奇异值解区别所矩阵都进行奇异值解阵才进行特征值解所给矩阵称阵A(T)=A二者结相同说称矩阵特征值解所奇异值解特例二者存些差异奇异值解需要奇异值排序且全部于等于零于特征值解 [v,d] = eig( A ) , 即 A = v*d*inv(v)于奇异值解,其解基本形式 [u,s,v] = svd(C), C = u*s*v". 若C阵称阵, 则 u = v; 所 C = v*s*v";

可以理解为奇异值是特征值的推广，对长方形或者正方形但不满秩的矩阵，我们总可以求其奇异值。对于一般方阵两者不一定有联系。对于对称方阵，二者相等。

在实际的应用中，有时候我们会遇到数据的维度太少，我们需要新生成新的维度，可以用我们之前的分享（ 如何自动化进行特征工程 ）；有时候维度太多，这时候我们就需要降维了。降维的方法有许多，我们这里介绍了sklearn中介绍的7种，供大家学习和收藏。 主成分分析（PCA）用于将多维的数据集分解为一组具有最大方差的连续正交分量。在sklearn这个包中，PCA是一个transformer对象，使用fit方法可以选择前n个主成分，并且用于投射到新的数据中。 PCA有两种实现方式，一种是特征值分解去实现，一种是奇异值分解去实现。特征值分解是一个提取矩阵特征很不错的方法，但是它只是对方阵而言的，如果不使用SVD，PCA只会寻找每个特征的中心，但并不会对数据进行缩放（scaled）。使用参数whiten=True ，可以将数据投射到奇异空间中，并且将每个组分缩放到方差为1，这个对于后续分析中，假设每个特征是isotropy 是很有帮助的，例如SVM和Kmeans聚类。 PCA不仅仅是对高维数据进行降维，更重要的是经过降维去除了噪声，发现了数据中的模式。PCA把原先的n个特征用数目更少的m个特征取代，新特征是旧特征的线性组合，这些线性组合最大化样本方差，尽量使新的m个特征互不相关。 SVD是一种矩阵分解法，把一个大矩阵分解成易于处理的形式，这种形式可能是两个或多个矩阵的乘积。 参数 例子2：获取每个主成分与特征的关系 PCA虽然很有用，但是需要将数据全部都存入内存，因此当当要分解的数据集太大，会导致内存很大。这时候，增量主成分分析（IPCA）通常用作主成分分析（PCA）的替代，可以通过部分计算的方式，获得跟PCA一样的结果。 IPCA使用与输入数据样本数无关的内存量为输入数据建立低秩近似。它仍然依赖于输入数据功能，但更改批量大小可以控制内存使用量。 该函数，增加了一个batch_size的参数，用来控制批次，其余都一样，至此不再赘述。 实例 对于大型矩阵的分解，我们往往会想到用SVD算法。然而当矩阵的维数与奇异值个数k上升到一定程度时，SVD分解法往往因为内存溢出而失败。因此，Randomized SVD算法，相比于SVD，它更能适应大型矩阵分解的要求，且速度更快。 此外，在某些场景下，我们期望丢掉某些lower sigular values，来达到减少噪音，保留尽可能多的方差，从而达到更好的预测效果。比如人脸的识别，如果是64X64的像素，那么整个维度有4096个。我们利用这个方法，可以保留重要的维度，从而利于后续的分析。 使用 svd_solver="randomized" 可以实现随机化的SVD，来去掉部分的奇异矩阵。 主成分分析（Principal Components Analysis, PCA）适用于数据的线性降维。而核主成分分析（Kernel PCA，KPCA）可实现数据的非线性降维，用于处理线性不可分的数据集。kernel的选择有 {"linear", "poly", "rbf", "sigmoid", "cosine", "precomputed"}，默认是"linear"。 详细说明见官方说明，与普通的PCA差不多。 SparsePCA 期望找到一组可以最优地重构数据的稀疏主成分。稀疏性的大小由参数alpha给出的L1惩罚系数来控制。Mini-batch sparse PCA是sparsePCA的变种，提高了速度，但是降低了精度。 主成分分析（PCA）的缺点是，该方法提取的成分是一种密集表达式，即用原始变量的线性组合表示时，它们的系数是非零的。这可能会使解释模型变得困难。在许多情况下，真实的基础分量可以更自然地想象为稀疏向量;例如，在人脸识别中，主成分会只包含部分的图像，映射到人脸的某些部分。稀疏主成分产生了一种更简洁的、可解释的表示，清楚地强调是哪些原始特征导致了样本之间的差异。 通过调节alpha来调整惩罚度，alpha越大，越导致许多系数为0。 TruncatedSVD是普通SVD的一个变种，只计算用户指定的前K个奇异值。TSVD通常用于语义分析中，是LSA的其中的一部分，可以解决一词多义和一义多词的问题。 LSA潜在语义分析的目的，就是要找出词（terms）在文档和查询中真正的含义，也就是潜在语义，从而解决上节所描述的问题。具体说来就是对一个大型的文档集合使用一个合理的维度建模，并将词和文档都表示到该空间，比如有2000个文档，包含7000个索引词，LSA使用一个维度为100的向量空间将文档和词表示到该空间，进而在该空间进行信息检索。而将文档表示到此空间的过程就是SVD奇异值分解和降维的过程。降维是LSA分析中最重要的一步，通过降维，去除了文档中的“噪音”，也就是无关信息（比如词的误用或不相关的词偶尔出现在一起），语义结构逐渐呈现。相比传统向量空间，潜在语义空间的维度更小，语义关系更明确。 使用例子如下： 用事先预定义好的字典来对矩阵进行稀疏化编码，达到降维和简化的目的。就像人类的所有语言都是由单词组成一样，因此使用已知的词典可以减少维度；其次，稀疏化可以减少计算的成本，让后续的计算更快。 这个对象没有fit的方法，transformation方法会将数据表示为尽可能少的字典原子的线性组合。可以用transform_method来控制初始化参数，有以下几种： 使用的函数为sklearn.decomposition.DictionaryLearning，会找到一个可以将fitted data足够好稀疏化的字典。 将数据表示为一个overcomplete的字典这个过程，同大脑处理数据的过程类似。这个方法在图像补丁的字典学习已被证明在诸如图像完成、修复和去噪以及监督识别任务的图像处理任务中给出良好的结果。 使用函数为sklearn.decomposition.MiniBatchDictionaryLearning，是一种快速的，但是精确度降低的版本，适应于大数据集合。 默认情况下，MiniBatchDictionaryLearning将数据分成小批量，并通过在指定次数的迭代中循环使用小批量，以在线方式进行优化。但是，目前它没有退出迭代的停止条件。也可以用partial_fit来实现小批次的fit。 从变量中提取共性因子。 因子分析要求原有变量间具有较强的相关性，否则，因子分析无法提取变量间的共性特征，如果相关系数小于0.3，则变量间的共线性较小，不适合因子分析；因子分析得到因子和原变量的关系，因此能够对因子进行解释。 因子分析可以产生与 PCA 相似的特征（载荷矩阵的列）。不过，不能对这些特征做出任何一般性的说明（例如他们是否正交）。 使用的函数为sklearn.decomposition.FactorAnalysis。 使用的函数为sklearn.decomposition.FastICA，ICA可以提取出一系列的主成分，彼此最大的独立。因此，ICA一般不用于降维，而用于区分叠加信号。ICA不考虑noise，为了使模型正确，必须使用whitening，可以使用whiten这个参数。 ICA 通常用于分离混合信号（称为盲源分离的问题），也可以作为一种非线性降维方法，可以找到具有一些稀疏性的特征。 主成分分析假设源信号间彼此非相关，独立成分分析假设源信号间彼此独立。 主成分分析认为主元之间彼此正交，样本呈高斯分布；独立成分分析则不要求样本呈高斯分布。 非负矩阵分解，顾名思义就是，将非负的大矩阵分解成两个非负的小矩阵。在数据矩阵不包含负值的情况下，应用NMF而不是PCA或其变体。 NMF可以产生可以代表数据的主成分，从而可以来解释整个模型。 参数init，可以用来选择初始化的方法，不同的方法对结果会有不同的表现。 在PCA处理中，假使将特征降维为600个，那么降维后的每个人脸都包含了600个特征（所以我们看到降维后的人脸有种“伏地魔”的感觉 ，这是因为降维处理相当于删去了部分细节特征，导致一部分信息丢失，在图片中最直观的体现就是变模糊）。而在NMF的处理中，这1000个特征相当于是被分离了。相当于，一张人脸是由鼻子、耳朵等这些独立的特征叠加出来的。 LDA是文档主题生成模型，对离散数据集（如文本语料库）的集合的生成概率模型。它也是一个主题模型，用于从文档集合中发现抽象主题。LDA是一种非监督机器学习技术，可以用来识别大规模文档集（document collection）或语料库（corpus）中潜藏的主题信息。 sklearn.decomposition.LatentDirichletAllocation是用于进行LDA的函数。 1、 https://www.jianshu.com/p/1adef2d6dd88 2、 https://www.jianshu.com/p/e574e91070ad 3、 https://scikit-learn.org/stable/modules/decomposition.html#decompositions 4、 https://shankarmsy.github.io/posts/pca-sklearn.html 5、 https://mp.weixin.qq.com/s/Tl9ssjmGdeyNrNuIReo1aw 6、 https://www.cnblogs.com/eczhou/p/5433856.html 7、 https://scikit-learn.org/stable/auto_examples/applications/plot_face_recognition.html#sphx-glr-auto-examples-applications-plot-face-recognition-py 8、 https://blog.csdn.net/fkyyly/article/details/84665361 LSA(Latent semantic analysis) 9、 https://blog.csdn.net/fjssharpsword/article/details/74964127 10、 https://www.jianshu.com/p/e90900a3d03a

主成分分析(PCA)是一种常用的无监督学习方法，这一方法利用正交变换把由现行相关变量表示的观测数据转化为少数几个由线性无关变量表示的数据，线性无关的变量称为主成分。主成分的个数通常小于原始变量的个数，所以主成分分析属于姜维方法。主成分分析主要用于发现数据中的基本结构，即数据中变量之间的关系，是数据分析的有力工具，也用于其他机器学习方法的前处理。 统计分析比中，数据的变量之间可能存在相关性，以致增加了分析的难度。于是，考虑由少数几个不相关的变量来代替相关的变量，用来表示数据，并且要求能够保留数据中的不部分信息。 主成分分析中，首先对给定数据进行规范化，使得数据每一变量的平均值为0，方差为1,。之后对数据进行正交变换，用来由线性相关表示的数据，通过正交变换变成若干个线性无关的新变量表示的数据。新变量是可能的正交变换中变量的方差和(信息保存)最大的，方差表示在新变量上信息的大小。将新变量一次成为第一主成分，第二主成分等。通过主成分分析，可以利用主成分近似地表示原始数据，这可理解为发现数据的“基本结构”；也可以把数据由少数主成分表示，这可理解为对数据降维。 方差最大的解释。假设有两个变量 ，三个样本点A,B,C。样本分布在由 轴组成的坐标系中，对坐标系进行旋转变换，得到新的坐标轴 ，表示新的变量 。坐标值的平方和 表示样本在变量 上的方差和。主成分分析旨在选取正交变换中方差最大的变量，作为第一主成分，也是是旋转变换中坐标值的平方和最大的轴。注意到旋转变换中变换中样本点到原点距离的平方和 不变，根据勾股定理，坐标值的平方和最大 等价于样本点到 轴的距离平方和 最小。所以，等价地，主成分分析在旋转变换中选取离样本点的距离的平方和最小的轴，作为第一主成分。第二主成分等的选取，在保证与已有坐标轴正交的条件下，类似地进行 假设 是m维随机变量，其均值是 , 协方差矩阵是 考虑到m维随机变量 到m维随机变量 的线性变换 其中 由随机变量的性质可知 总体主成分的定义 给定式(1)所示的线性变换，如果他们满足下列条件 设 是m维随机变量， 是 的协方差矩阵， 的特征值分别是 ，特征值对应的单位特征向量分别是 ，则 的第k主成分是 的第k主成分的方差是 即协方差矩阵 的第k个特征值 首先求 的第一主成分 ，即求系数向量 。第一主成分的 是在 的条件下， 的所有线性变换中使方差达到最大的 求第一主成分就是求解最优化问题 定义拉格朗日函数 其中 是拉格朗日乘子，将拉格朗日函数对 求导，并令其为0，得 因此 是 的特征值， 是对应的单位特征向量。于是目标函数 假设 是 的最大特征值 对应的单位特征向量，显然 与 是最优化问题的解，所以， 构成第一主成分，其方差等于协方差矩阵的最大特征值 接着求 的第二主成分 ，第二主成分的 是在 且 与 不相关条件下， 的所有线性变换中使达到最大 求第二主成分需参求解约束最优化问题 定义拉格朗日函数 其中 对应拉格朗日乘子。对 求偏导，并令其为0，得 将方程左则乘以 有 此式前两项为0，且 ，导出 ，因此式成为 由此， 是 的特征值， 是对应的特征向量，于是目标函数为 假设 是 的第二大特征值 的特征向量，显然 是以上最优化问题的解。于是 构成第二主成分，其方差等于协方差矩阵的第二大特征值， 按照上述方法可以求得第一、第二、直到第m个主成分，其系数向量 分别是 的第一、第二、直到m个单位特征向量， 分别是对应的特征值。并且，第k主成分的方差等于 的第k个特征值。 主成分分析的主要目的是降维，所以一般选择 个主成分（线性无观变量），使问题得以简化，并能保留原有变量的大部分信息。这里所说的信息是指原有信息的方差。 对任意正整数 ，考虑正交线性变换 其中 是q的维向量， 是q*m维矩阵，令 的协方差矩阵为 则 的迹 在 时取最大值，其中矩阵 是由正交矩阵A的前q列组成。 这表明，当 的线性变换 在 时，其协方差矩阵 的迹 取得最大值。也就是说，当A取前 的前q个主成分时，能够最大限度地保留原有变量方差的信息。 以上作为选择k个主成分的理论依据。具体选择k的方法，通常利用方差贡献率。 第k主成分 的方差贡献率定义为 的方差与所有方差之和的比记作 k个主成分 的累计方差贡献率定义为k个方差之和和所有方差之和的比 通常取k使得累计方差贡献率达到规定的百分比以上，例如70%~80%。累计方差贡献率反映了主成分保留信息的比例，但它不能反映对某个原有变量 保留信息的比例，这时通常利用k个主成分 对原有变量 的贡献率。 k个主成分 对原有变量 的贡献率为 , 的相关系数的平方，记作 计算公式如下： 其中， 是随机变量 的方差，即协方差矩阵 的对角元素。 在实际问题中，不同变量可能有不同的量纲，直接求主成分有时会产生不合理的结果，为了消除这个影响，常常对各个随机变量实施规范化，使其均值为0，方差为1 设 为随机变量， 为第i个随机变量， ，令 其中， 分布是随机变量 的均值和方差，这时 就是 的规范化随机变量。 在实际问题中，需要在观测数据上进行主成分分析，这就是样本主成分分析。样本主成分也和总体主成分具体相同的性质。 使用样本主成分时，一般假设样本数据是规范化的，即对样本矩阵如下操作： 其中 样本协方差矩阵S是中体协方差矩阵 的无偏估计，样本相关矩阵R是总体相关矩阵的无偏估计，S的特征值和特征向量 的特征值和特征向量的无偏估计。 传统的主成分分析通过数据的协方差矩阵或相关矩阵的特征值分解进行，现在常用的方法是通过数据矩阵的奇异值分解进行。下面介绍数据的协方差矩阵或相关矩阵的分解方法 给定样本矩阵 ，利用数据的样本的协方差矩阵或样本相关矩阵的特征值分解进行主成分分析 给定样本矩阵 ，利用数据矩阵奇异值分解进行主成分分析，这里没有假设k个主成分 对于 维实矩阵A，假设其秩为r, ，则可将矩阵A进行截断奇异值分解 式 是 矩阵， 是k阶对角矩阵， 分别由取A的完全奇异分解的矩阵U，V的前k列， 由完全奇异分解的矩阵 的前k个对角元素得到 定义一个新的 矩阵 的每一列均值为0， 即 等于X的协方差矩阵 主成分分析归结于求协方差矩阵 的特征值和对应的单位特征向量。 假设 的截断奇异值分解为 ，那么V 的列向量就是 的单位向量，因此V的列向量就是X的主成分。于是X求X的主成分可以通过 的奇异值来实现

[V, D]=eig(A)

    本文记录的目的是方便自己学习和复习，有误之处请谅解，欢迎指出。     主成分分析（Principal Component Analysis，PCA）是中最常用的降维算法之一，也可以用于数据压缩、去除冗余信息、消除噪声等方面。PCA的目的是找出一组低维数据来代表原高维数据，且保留原始数据中的主要信息。例如有m个数据集，n维特征，我们希望将n维特征降低到d维，而且让损失的信息尽可能小，具体怎么做呢？     首先通过PCA找出第1个新坐标使得原始数据中方差最大；然后找出第2个新坐标与第1个坐标正交平面使得方差最大；再找出第3个坐标与1，2坐标正交平面使得方差最大...，以此类推，得到d个新维度特征。     直接一点：就是求出样本集的协方差矩阵 的前d个特征值对应的特征向量，组成矩阵 ，然后对每个样本 进行变换 。     1）特征去中心化，即每个维度特征减去其均值：     2）计算协方差矩阵     3) 对协方差矩阵进行特征值分解     4）取前d个最大的特征值对应的特征向量组成矩阵 。     5）对每个样本数据进行变换，     6）得到降维后的数据     假定现有10个二维数据集 (2.5,2.4), (0.5,0.7), (2.2,2.9), (1.9,2.2), (3.1,3.0), (2.3, 2.7), (2, 1.6), (1, 1.1), (1.5, 1.6), (1.1, 0.9) ，需要用PCA降到1维。     首先样本去中心化，这里样本的均值为 (1.81, 1.91) ,所有的样本减去这个 均值 向量后，即中心化后的数据集为 (0.69, 0.49), (-1.31, -1.21), (0.39, 0.99), (0.09, 0.29), (1.29, 1.09), (0.49, 0.79), (0.19, -0.31), (-0.81, -0.81), (-0.31, -0.31), (-0.71, -1.01) 。     求协方差矩阵：     求出特征值为 （0.0490833989， 1.28402771） ，对应的特征向量分别为： 由于最大的k=1个特征值为1.28402771，对应的特征向量为 。这也就是特征矩阵 。     对每个数据样本进转换 得到降维后的数据 (-0.827970186， 1.77758033， -0.992197494， -0.274210416， -1.67580142， -0.912949103， 0.0991094375， 1.14457216, 0.438046137， 1.22382056)

缩放变换 是最基本的变换，可以改变向量的长度和方向。 错切 变换，在一个轴向上根据另一个轴上的值以一定比例移动，看图很容易明白。沿 轴和沿 轴上的错切矩阵分别如下： 沿 轴的错切也可以理解是沿 轴顺时针旋转 （与 轴的夹角）： 旋转变换 ，证明过程 略 ，逆时针旋转 的矩阵为： 可以看到旋转矩阵是 正交矩阵 ，并且有两对正交向量，一对是第一行和第二行向量；一对是第一列和第二列向量。每一行会被带给标准基向量（ ），标准基向量会被带给每一列。简单来说就是，对标准基向量进行一个 旋转变换，就会变成 的列向量，看下图的 点，变换后为 ，就是 的第二列（因为 相当于是 ，所以是第二列）；对 的每一行做 的旋转变换，结果就是标准基向量，看下面的 ，变换后为 。 反射变换 是一种使用负数的缩放变换，下面分别是关于 轴的反射变换矩阵，和关于 轴的反射变换矩阵： 有人会认为矩阵的左上角和右下角都为 时，也是一种反射变换（关于原点的反射），但实际上那只是 的旋转变换而已。 我们经常需要对一个图案进行多种变换，这些变换可以通过将他们的变换矩阵连乘进行 合并 ，比如需要先对 进行 变换得到 ，然后再对 进行 变换得到 ，那么有以下转换： 有时候我们也需要将一个组合的变换进行 分解 ，所有的 2D 矩阵都可以通过 奇异值分解（SVD） 成为旋转、缩放、旋转的形式。下图是把一个错切变换进行 SVD 的过程： 我们可以把 当做是一次旋转，把 当成是一次缩放，那么其实就是一个组合变换，请结合下面的文字看图： 我们可以发现对于 对称矩阵 来说，变换的表现就是沿着一对基向量进行非均匀缩放，这一对基向量依然是正交的，跟标准基向量没什么不同，只是整体方向不一样。而这一对基向量正是 对称矩阵 的特征向量。 看一个例子： 对于非对称矩阵，我们可以使用 奇异值分解（SVD） ，对此有疑问的可以看 这里 。他与特征值分解基本一样，不同的是左右旋转矩阵不再是同一个，而是分为两个，特征值分解的结果是 ，而奇异值分解 写成 ，这里的 依然是一个正交矩阵，列是 左奇异向量 ， 也是一个正交向量，列是 右奇异向量 ， S 依然是对角矩阵，对角线上是奇异值。 还有一种旋转的分解叫做 Paeth 分解 ，这是将旋转分解成 错切 的方式，最大的好处就是不会在图像中出现间隙，下面是分解公式： 顺着笛卡尔坐标系的 缩放 矩阵为： 如何将一个点绕着 3D 中任意轴进行旋转呢？假设该点为 ，旋转轴为 （这里的 是起点为原点的向量，所以不涉及平移），那么如果能构建一组以 为 轴的基向量，并把 转换到该空间，进行旋转，再转回来就可以了。 第一步 ：构建以 为 的一组正交基 首先我们将 进行归一化得到 ： 第二步 ：构建空间转换矩阵 假设我们有一组基向量， ，还有一个点 ，将 按行来摆好，写成 我们可以提前知道 在上述基向量中的坐标应该为 ，正是 的结果。下面是书上的证明过程，有兴趣的可以看一下，没兴趣就记着我们可以用任意的一组正交基，把 三个分量摆第一行，把 三个分量摆第二行，把 三个分量摆第三行，总而构建出转换到该空间下的转换矩阵。并且再次乘其转置，就可以再次变回来。 上面所说的变换都是方向或者点，还有一种特殊的向量叫做 法线 ，如果图形应用的变换矩阵我们称为 ，那么 经过 变换之后不再垂于表面，但切线 依然与表面相切。期望求出一个矩阵 ，使得 ，其中 。 以上所有的变换都是 线性变换 （原点不变，且直线变换后依然是直线）,而 平移 变换并不满足。我们把一个线性变换 + 一次平移的操作叫做 仿射变换 ，通过增加一个维度的方式来实现，叫做 齐次坐标 。 我们把一个 2D 中的点 写成 ，把 的矩阵写成： 变换中一个比较重要的类叫做 刚体 ，他们只有旋转和平移组成，没有拉伸或者缩放。 我们知道了矩阵的几何意义之后，可以通过几何意义来进行逆操作，比如 的逆就是 ；比如旋转矩阵的逆就是角度变成相反的符号；平移矩阵的逆就是相反的方向。如果我们有一系列的变换 ，那么逆操作就是 。 不过，有些矩阵在代数上也是很好求的，比如说对于缩放矩阵，他是对角矩阵；第二重要的是旋转矩阵，他是正交矩阵，逆就是它的转置。所以使得求旋转和缸体的逆操作都变得简单。当然我们也需要知道，求完逆之后，原矩阵最下面一行不要动，比如是 的话，那逆的最下面一行也是 。 有趣的是，我们也可以使用奇异值分解来求逆，我们知道可以将一个矩阵分解成旋转——缩放——旋转的方式： 通常我们会在场景中有一个全局坐标系（世界坐标系），图中的 ，图中有另外一个坐标系 ，还有一个点 。

矩阵的特征值分解是非常重要的数学工具。在matlab中一般使用eig()函数完成矩阵特征值和特征向量的提取，其用法如下 结果如下： 显然eig()就是一般意义上的计算矩阵的特征值和特征向量 E = eig(A) 返回方阵A的所有特征值，构成列向量E。 [V,D] = eig(A) 返回方阵A的特征值和特征向量，其中特征值排满对角阵D的对角元素，对应的特征向量排列为方阵V的每一列。 而eigs()也能求取矩阵的特征值和特征向量，不过其返回的方阵幅值最大的6个特征值和特征向量，用法和eig()类似。不过eigs()通过迭代的方式来求解特征值，所以其在加快运算速度的同时降低了准确度。另外，一般eigs()处理的大型稀疏矩阵。 [V,D] = eigs(A) 返回方阵A的前6个最大特征特征值和特征向量。 [V,D] = eigs(A,k) 返回前k个最大特征值和特征向量。 一般情况下，eig()和eigs()返回的特征值是从大到小排列，然而这并不是一定的。经过测试，两者的特征值排序都可能为乱序，所以，在对顺序有要求的情况下，需要通过sort()函数来自动排序。 如下 按特征值大小排序结果如下： John D"Errico设计了一个eigenshuffle.m函数能够得到排序后的特征值和特征向量。该方法排序方式为特征值大小降序排列。 速度测试： 结果： 显然eigenshuffle函数的速度比传统方法略低。 参考： https://cn.mathworks.com/matlabcentral/fileexchange/22885-eigenshuffle

3×3矩阵的特征值怎么求：不要想成是高阶方程求特征值基本上就是因式分解按第3列展开得到(2-λ)[(-1-λ)(3-λ)+4]=(2-λ)(λ^2-2λ+1)当然就是(2-λ)(1-λ)^2”矩阵的特征值是线性代数里面的一个重要内容，无论是期末考试还是考研都是一个重点。

vector：向量 numeric：数值型向量 logical：逻辑型向量 character；字符型向量 list：列表 data.frame：数据框 c：连接为向量或列表 sequence：等差序列 rep：重复 length：求长度 subset：求子集 seq，from:to， NA：缺失值 NULL：空对象 sort，order，unique，rev：排序 unlist：展平列表 attr，attributes：对象属性 mode，typeof：对象存储模式与类型 names：对象的名字属性 character：字符型向量 nchar：字符数 substr：取子串 format，formatC：把对象用格式转换为字符串 paste，strsplit：连接或拆分 charmatch，pmatch：字符串匹配 grep，sub，gsub：模式匹配与替换 complex，Re，Im，Mod，Arg，Conj：复数函数 factor：因子 codes：因子的编码 levels：因子的各水平的名字 nlevels：因子的水平个数 cut：把数值型对象分区间转换为因子 table：交叉频数表 split：按因子分组 aggregate：计算各数据子集的概括统计量 tapply：对“不规则”数组应用函数 +, -, *, /, ^, %%, %/%：四则运算 ceiling，floor，round，signif，trunc，zapsmall：舍入 max，min，pmax，pmin：最大最小值 range：最大值和最小值 sum，prod：向量元素和，积 cumsum，cumprod，cummax，cummin：累加、累乘 sort：排序 approx和approx fun：插值 diff：差分 sign：符号函数 abs，sqrt：绝对值，平方根 log, exp, log10, log2：对数与指数函数 sin，cos，tan，asin，acos，atan，atan2：三角函数 sinh，cosh，tanh，asinh，acosh，atanh：双曲函数 beta，lbeta，gamma，lgamma，digamma，trigamma，tetragamma，pentagamma，choose ，lchoose：与贝塔函数、伽玛函数、组合数有关的特殊函数 fft，mvfft，convolve：富利叶变换及卷积 polyroot：多项式求根 poly：正交多项式 spline，splinefun：样条差值 besselI，besselK，besselJ，besselY，gammaCody：Bessel函数 deriv：简单表达式的符号微分或算法微分 array：建立数组 matrix：生成矩阵 data.matrix：把数据框转换为数值型矩阵 lower.tri：矩阵的下三角部分 mat.or.vec：生成矩阵或向量 t：矩阵转置 cbind：把列合并为矩阵 rbind：把行合并为矩阵 diag：矩阵对角元素向量或生成对角矩阵 aperm：数组转置 nrow, ncol：计算数组的行数和列数 dim：对象的维向量 dimnames：对象的维名 row/colnames：行名或列名 %*%：矩阵乘法 crossprod：矩阵交叉乘积（内积） outer：数组外积 kronecker：数组的Kronecker积 apply：对数组的某些维应用函数 tapply：对“不规则”数组应用函数 sweep：计算数组的概括统计量 aggregate：计算数据子集的概括统计量 scale：矩阵标准化 matplot：对矩阵各列绘图 cor：相关阵或协差阵 Contrast：对照矩阵 row：矩阵的行下标集 col：求列下标集 solve：解线性方程组或求逆 eigen：矩阵的特征值分解 svd：矩阵的奇异值分解 backsolve：解上三角或下三角方程组 chol：Choleski分解 qr：矩阵的QR分解 chol2inv：由Choleski分解求逆 <，>，<=，>=，==，!=：比较运算符 !，&，&&，|，||，xor()：逻辑运算符 logical：生成逻辑向量 all，any：逻辑向量都为真或存在真 ifelse()：二者择一 match，%in%：查找 unique：找出互不相同的元素 which：找到真值下标集合 duplicated：找到重复元素 optimize，uniroot，polyroot：一维优化与求根 if，else，ifelse，switch：分支 for，while，repeat，break，next：循环 apply，lapply，sapply，tapply，sweep：替代循环的函数。 function：函数定义 source：调用文件 call：函数调用 .C，.Fortran：调用C或者Fortran子程序的动态链接库。 Recall：递归调用 browser，debug，trace，traceback：程序调试 options：指定系统参数 missing：判断虚参是否有对应实参 nargs：参数个数 stop：终止函数执行 on.exit：指定退出时执行 eval，expression：表达式计算 system.time：表达式计算计时 invisible：使变量不显示 menu：选择菜单（字符列表菜单） 其它与函数有关的还有：delay，delete.response，deparse，do.call，dput，environment ，，formals，format.info，interactive， is.finite，is.function，is.language，is.recursive ，match.arg，match.call，match.fun，model.extract，name，parse，substitute，sys.parent ，warning，machine cat，print：显示对象 sink：输出转向到指定文件 dump，save，dput，write：输出对象 scan，read.table，load，dget：读入 ls，objects：显示对象列表 rm, remove：删除对象 q，quit：退出系统 .First，.Last：初始运行函数与退出运行函数。 options：系统选项 ?，help，help.start，apropos：帮助功能 data：列出数据集分析 每一种分布有四个函数：d――density（密度函数），p――分布函数，q――分位数函数，r――随机数函数。 比如，正态分布的这四个函数为dnorm，pnorm，qnorm，rnorm。下面我们列出各分布后缀，前面加前缀d、p、q或r就构成函数名： norm：正态，t：t分布，f：F分布，chisq：卡方（包括非中心） unif：均匀，exp：指数，weibull：威布尔，gamma：伽玛，beta：贝塔 lnorm：对数正态，logis：逻辑分布，cauchy：柯西， binom：二项分布，geom：几何分布，hyper：超几何，nbinom：负二项，pois：泊松 signrank：符号秩， wilcox：秩和，tukey：学生化极差 sum, mean, var, sd, min, max, range, median, IQR（四分位间距）等为统计量，sort，order，rank与排序有关，其它还有ave，fivenum，mad，quantile，stem等。 R中已实现的有chisq.test，prop.test，t.test。 cor，cov.wt，var：协方差阵及相关阵计算 biplot，biplot.princomp：多元数据biplot图 cancor：典则相关 princomp：主成分分析 hclust：谱系聚类 kmeans：k-均值聚类 cmdscale：经典多维标度 其它有dist，mahalanobis，cov.rob。 ts：时间序列对象 diff：计算差分 time：时间序列的采样时间 window：时间窗 lm，glm，aov：线性模型、广义线性模型、方差

特征值是线性代数中的一个重要概念。在数学、物理学、化学、计算机等领域有着广泛的应用。设 A 是n阶方阵，如果存在数m和非零n维列向量 x，使得 Ax=mx 成立，则m是A的一个特征值（characteristic value)或本征值（eigenvalue)。非零n维列向量x称为矩阵A的属于（对应于）特征值m的特征向量或本征向量，简称A的特征向量或A的本征向量。设A是向量空间的一个线性变换，如果空间中某一非零向量通过A变换后所奇异矩阵特征值得到的向量和X仅差一个常数因子，即AX=kX，则称k为A的特征值，X称为A的属于特征值k的特征向量或特征矢量(eigenvector)。如在求解薛定谔波动方程时，在波函数满足单值、有限、连续性和归一化条件下，势场中运动粒子的总能量(正)所必须取的特定值，这些值就是正的本征值。

R语言常用函数整理本篇是基础篇，即R语言自带的函数。 vector：向量 numeric：数值型向量 logical：逻辑型向量 character；字符型向量 list：列表 data.frame：数据框 c：连接为向量或列表 length：求长度 subset：求子集 seq，from:to，sequence：等差序列 rep：重复 NA：缺失值 NULL：空对象 sort，order，unique，rev：排序 unlist：展平列表 attr，attributes：对象属性 mode，class，typeof：对象存储模式与类型 names：对象的名字属性 字符型向量 nchar：字符数 substr：取子串 format，formatC：把对象用格式转换为字符串 paste()、paste0()不仅可以连接多个字符串，还可以将对象自动转换为字符串再相连，另外还能处理向量。 strsplit：连接或拆分 charmatch，pmatch：字符串匹配 grep，sub，gsub：模式匹配与替换 complex，Re，Im，Mod，Arg，Conj：复数函数 factor：因子 codes：因子的编码 levels：因子的各水平的名字 nlevels：因子的水平个数 cut：把数值型对象分区间转换为因子 table：交叉频数表 split：按因子分组 aggregate：计算各数据子集的概括统计量 tapply：对“不规则”数组应用函数 dev.new() 新建画板 plot()绘制点线图,条形图,散点图. barplot( ) 绘制条形图 dotchart( ) 绘制点图 pie( )绘制饼图. pair( )绘制散点图阵 boxplot( )绘制箱线图 hist( )绘制直方图 scatterplot3D( )绘制3D散点图. par()可以添加很多参数来修改图形 title( )　添加标题 axis( )　调整刻度 rug( )　添加轴密度 grid( )　添加网格线 abline( )　添加直线 lines( )　添加曲线 text( )　添加标签 legend(）　添加图例 +, -, *, /, ^, %%, %/%：四则运算 ceiling，floor，round，signif 1、round() #四舍五入 例：x <- c(3.1416, 15.377, 269.7) round(x, 0) #保留整数位 round(x, 2) #保留两位小数 round(x, -1) #保留到十位 2、signif() #取有效数字(跟学过的有效数字不是一个意思) 例：略 3、trunc() #取整 floor() #向下取整 ceiling() #向上取整 例：xx <- c(3.60, 12.47, -3.60, -12.47) trunc(xx) floor(xx) ceiling(xx) max，min，pmax，pmin：最大最小值 range：最大值和最小值 sum，prod：向量元素和，积 cumsum，cumprod，cummax，cummin：累加、累乘 sort：排序 approx和approx fun：插值 diff：差分 sign：符号函数 abs，sqrt：绝对值，平方根 log, exp, log10, log2：对数与指数函数 sin，cos，tan，asin，acos，atan，atan2：三角函数 sinh，cosh，tanh，asinh，acosh，atanh：双曲函数 beta，lbeta，gamma，lgamma，digamma，trigamma，tetragamma，pentagamma，choose ，lchoose：与贝塔函数、伽玛函数、组合数有关的特殊函数 fft，mvfft，convolve：富利叶变换及卷积 polyroot：多项式求根 poly：正交多项式 spline，splinefun：样条差值 besselI，besselK，besselJ，besselY，gammaCody：Bessel函数 deriv：简单表达式的符号微分或算法微分 array：建立数组 matrix：生成矩阵 data.matrix：把数据框转换为数值型矩阵 lower.tri：矩阵的下三角部分 mat.or.vec：生成矩阵或向量 t：矩阵转置 cbind：把列合并为矩阵 rbind：把行合并为矩阵 diag：矩阵对角元素向量或生成对角矩阵 aperm：数组转置 nrow, ncol：计算数组的行数和列数 dim：对象的维向量 dimnames：对象的维名 rownames，colnames：行名或列名 %*%：矩阵乘法 crossprod：矩阵交叉乘积（内积） outer：数组外积 kronecker：数组的Kronecker积 apply：对数组的某些维应用函数 tapply：对“不规则”数组应用函数 sweep：计算数组的概括统计量 aggregate：计算数据子集的概括统计量 scale：矩阵标准化 matplot：对矩阵各列绘图 cor：相关阵或协差阵 Contrast：对照矩阵 row：矩阵的行下标集 col：求列下标集 solve：解线性方程组或求逆 eigen：矩阵的特征值分解 svd：矩阵的奇异值分解 backsolve：解上三角或下三角方程组 chol：Choleski分解 qr：矩阵的QR分解 chol2inv：由Choleski分解求逆 ><，>，<=，>=，==，!=：比较运算符 !，&，&&，|，||，xor()： 逻辑运算符 logical： 生成逻辑向量 all， any：逻辑向量都为真或存在真 ifelse()：二者择一 match， %in%：查找 unique：找出互不相同的元素 which：找到真值下标集合 duplicated：找到重复元素 optimize，uniroot，polyroot：一维优化与求根 if，else， ifelse， switch： 分支 for，while，repeat，break，next： 循环 apply，lapply，sapply，tapply，sweep：替代循环的函数。 function：函数定义 source：调用文件 " call：函数调用 . C，.Fortran：调用C或者Fortran子程序的动态链接库。 Recall：递归调用 browser，debug，trace，traceback：程序调试 options：指定系统参数 missing：判断虚参是否有对应实参 nargs：参数个数 stop：终止函数执行 on.exit：指定退出时执行 eval，expression：表达式计算 system.time：表达式计算计时 invisible：使变量不显示 menu：选择菜单（字符列表菜单） 其它与函数有关的还有： delay， delete.response， deparse， do.call， dput， environment ， formals， format.info， interactive， is.finite， is.function， is.language， is.recursive ， match.arg， match.call， match.fun， model.extract， name， parse 函数能将字符串转换为表达式expression deparse 将表达式expression转换为字符串 eval 函数能对表达式求解 substitute， sys.parent ， warning， machine cat，print：显示对象 sink：输出转向到指定文件 dump，save，dput，write：输出对象 scan，read.table，readlines, load，dget：读入 ls，objects：显示对象列表 rm, remove：删除对象 q，quit：退出系统 .First，.Last：初始运行函数与退出运行函数。 options：系统选项 ?，help，help.start，apropos：帮助功能 data：列出数据集 head()查看数据的头几行 tail()查看数据的最后几行 每一种分布有四个函数： d―density（密度函数），p―分布函数，q―分位数函数，r―随机数函数。 比如，正态分布的这四个函数为dnorm，pnorm，qnorm，rnorm。下面我们列出各分布后缀，前面加前缀d、p、q或r就构成函数名： norm：正态， t：t分布， f：F分布， chisq：卡方（包括非中心） unif：均匀， exp：指数， weibull：威布尔， gamma：伽玛， beta：贝塔 lnorm：对数正态， logis：逻辑分布， cauchy：柯西， binom：二项分布， geom：几何分布， hyper：超几何， nbinom：负二项， pois：泊松 signrank：符号秩， wilcox：秩和， tukey：学生化极差 sum, mean, var, sd, min, max, range, median, IQR（四分位间距）等为统计量， sort，order，rank与排序有关， 其它还有ave，fivenum，mad，quantile，stem等。 R中已实现的有chisq.test，prop.test，t.test。 cor，cov.wt，var：协方差阵及相关阵计算 biplot，biplot.princomp：多元数据biplot图 cancor：典则相关 princomp：主成分分析 hclust：谱系聚类 kmeans：k-均值聚类 cmdscale：经典多维标度 其它有dist，mahalanobis，cov.rob。 ts：时间序列对象 diff：计算差分 time：时间序列的采样时间 window：时间窗 lm，glm，aov：线性模型、广义线性模型、方差分析 quo()等价于quote() enquo()等价于substitute(）

我试了一下，eig([1 0 0;0 10 0;0 0 5])结果是 1， 10， 5。说明eig命令得到的特征值未排序。这样的话A的奇异值就是A"A的特征值的开方，可以用sqrt(eig(A"*A))得到对应状态量的奇异值，因为求特征值的操作eig是默认不排序的。

按如下顺序: 特征值→特征向量矩阵(对应∧)→特广向量矩阵(对应J) 来理解三命令。①用Schur命令求矩阵A的特征值，A收敛于上三角阵Δ，即有A~Δ，相似变换等式是 Q⁻¹AQ＝Δ。Schur命令相当于高次方程的求根公式。②特征值无重根时，用Eⅰgenvector命令求特征向量，再按列向量排成特征向量矩阵P，P即相似变换矩阵，P能完成如下任务A~∧，且∧为对角阵，可验证 P⁻¹AP＝∧。(■验证的意义: 亮出相似矩阵概念、亮出相似矩阵特征值相等的性质。■永远是第一步求特征值、第二步求特征向量，这顺序不可能反过来。■极致情况 实对称矩阵 也仅做到特征值和特征向量同时求出)。③特征值有重根时，用Jordan命令求特征向量及广义特征向量，再按列向量排成特广向量矩阵S，S即相似变换矩阵，S能完成如下任务A~J，且J为若当块对角阵，可验证S⁻¹AS＝J。④已知P和∧求标准基解矩阵eᴬᵗ＝Pe^(∧t)P⁻¹。已知S和J 求标准基解矩阵eᴬᵗ＝Se^(Jt)S⁻¹。以上线性代数知识应用于时域动态电路。⑤补充: 当A为实对称矩阵时，苏尔正交变换矩阵Q＝特征向量矩阵P (二者均为Q)；且有 Δ＝∧(二者均为∧)。

先将数据矩阵进行特征值分解，然后将特征值从大到小进行排序，之后取前N个特征值，求和Sn，使其占所有特征总和S的85%~95%（经验值），那么N就是主成分的个数。累计贡献率=Sn/S85%<=Sn/S<=95%

矩阵经过初等变换特征值当然可能会发生改变特别是每行列乘以除以常数的时候我们都记住基本性质A的特征值为λ那么变换之后的f(A)其特征值就是f(λ)这也是求特征值时的基本方法

如果你把A*x=lambda*x中的A看做一种变换，一种作用，那么那些在这种作用下，只改变长短不改变方向的那些向量x就是特征向量，而特征值就是lambda，是伸缩系数，起能量增幅或者削减作用。特征值特征向量在各学术领域均有很高级的作用，首先介绍PCA，主成分分析。如果你面前有大维数组，处理起来非常棘手，直接带入问题处理速度又慢，第一想法就是能不能从中取出最有用，最有代表性的内容，俗话说：捞干的。回想tr迹这个性质，trA=A所有特征向量的和，主对角线元的意义非凡，暂且认为主对角线和就是这个矩阵所蕴含的能量。而特征向量就是这些能量集中爆发的方向，如果你很清楚特征分解的几何意义，就知道特征向量就是数据在空间中的对称轴，特征分解就是把其他方面的能量都投影在对称轴上，所以特征分解完或者说投影完，中间就只剩一个对角阵了，非对角元全是0. 此时你把最大的那几个特征向量摘出来，其余的抛掉，如此能很大程度降低你数据的维度，但信息损失仍在可控的范围。假设你求出100个特征值，头五个最大的和能达到这100个和的95%，那么其余95个丢掉，相对应的特征向量也丢掉。此时你的100*100的方阵只剩下5*5了，但信息量保存了95%。 金融业，银行业，保险业大量使用。互联网，Google的PageRank，就是 对www链接关系的修正邻接矩阵的，主要特征向量的投影分量，给出了页面平分。也就是搜索排名，凭什么我靠前你靠后。人像识别，我们把图像A看成矩阵，进一步看成线性变换矩阵，把这个训练图像的特征矩阵求出来(假设取了n个能量最大的特征向量)。用A乘以这个n个特征向量，得到一个n维矢量a，也就是A在特征空间的投影。还有聚类分析，信号处理等等。所以这块你一定要学透。

矩阵的秩和特征值的关系：如果矩阵可以对角化，那么非0特征值的个数就等于矩阵的秩；如果矩阵不可以对角化，这个结论就不一定成立。从线性空间的角度看，在一个定义了内积的线性空间里，对一个N阶对称方阵进行特征分解，就是产生了该空间的N个标准正交基，然后把矩阵投影到这N个基上。N个特征向量就是N个标准正交基，而特征值的模则代表矩阵在每个基上的投影长度。特征值越大，说明矩阵在对应的特征向量上的方差越大，功率越大，信息量越多。矩阵特征值的定义：设A是n阶方阵，如果数λ和n维非零列向量x使关系式Ax=λx成立，那么这样的数λ称为矩阵A特征值，非零向量x称为A的对应于特征值λ的特征向量。式Ax=λx也可写成（A-λE)X=0。这是n个未知数n个方程的齐次线性方程组，它有非零解的充分必要条件是系数行列式｜A-λE|=0。

矩阵特征值的求法是写出特征方程lλE-Al=0 左边解出含有λ的特征多项式比如说是含有λ的2次多项式，我们学过 ，是可能没有实数解的，(Δ<0)这个时候 我们说这个矩阵没有【实特征值】但是如果考虑比如Δ<0时 有虚数的解，，也就是有虚数的特征值的 这样说来就必有特征值啦

特征值的个数和矩阵的秩特征值的个数和矩阵的秩为什么rA=1三个特征值为0？而且为什么特征值有4个？

矩阵特征值的求法是写出特征方程lλE-Al=0左边解出含有λ的特征多项式比如说是含有λ的2次多项式，我们学过，是可能没有实数解的，(Δ<0)这个时候我们说这个矩阵没有【实特征值】但是如果考虑比如Δ<0时有虚数的解，，也就是有虚数的特征值的这样说来就必有特征值啦

设矩阵A的特征值为λ那么|A-λE|=-λ 0 0 10 -λ 1 00 1 -λ 01 0 0 -λ r1+r4 *λ ，r2+r3 *λ=0 0 0 1-λ^20 0 1-λ^2 00 1 -λ 01 0 0 -λ解得1-λ^2=0即λ=1或 -1即矩阵有2重特征值特征值1和-1λ=1时，A-E=-1 0 0 10 -1 1 00 1 -1 01 0 0 -1 r1+r4,r2+r3,交换行次序~1 0 0 -10 1 -1 00 0 0 00 0 0 0得到特征向量(0,1,1,0)^T和(1,0,0,1)^Tλ=-1时，A+E=1 0 0 10 1 1 00 1 1 01 0 0 1 r4-r1,r3-r2~1 0 0 10 1 1 00 0 0 00 0 0 0得到特征向量(0,1,-1,0)^T和(1,0,0,-1)^T

主对角线是元素的和，线性代数中有定理：相似矩阵迹相等，而矩阵相似于它的Jordan标准型之后，迹就成为特征值的和，而从维达定理，一个方程根的和就是它的第二项系数的反号，用于特征多项式，就是你需要的结果。奇异值分解非常有用，对于矩阵A(p*q)，存在U(p*p)，V(q*q)，B(p*q)（由对角阵与增广行或列组成），满足A = U*B*V。矩阵的分解矩阵分解是将一个矩阵分解为比较简单的或具有某种特性的若干矩阵的和或乘积 ，矩阵的分解法一般有三角分解、谱分解、奇异值分解、满秩分解等。谱分解（Spectral decomposition）是将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法。需要注意只有对可对角化矩阵才可以施以特征分解。假设M是一个m×n阶矩阵，其中的元素全部属于域K，也就是实数域或复数域。

function l = rqrtz(A,M)%QR算法求矩阵全部特征值%已知矩阵:A%迭代步数:M%求得的矩阵特征值:lA = hess(A);for i=1:MN = size(A);n = N(1,1);u = A(n,n);[q,r]=qr(A-u*eye(n,n));A = r*q+u*eye(n,n);l = diag(A);end------------------------------------A=[0 5 0 0 0 0;1 0 4 0 0 0;0 1 0 3 0 0;0 0 1 0 2 0;0 0 0 1 0 1;0 0 0 0 1 0]A = 0 5 0 0 0 0 1 0 4 0 0 0 0 1 0 3 0 0 0 0 1 0 2 0 0 0 0 1 0 1 0 0 0 0 1 0>> rqrtz(A,50)ans = -3.2030 3.2030 -1.8837 1.8837 -0.6167 0.6167>> eig(A)ans = -3.3243 3.3243 -1.8892 -0.6167 1.8892

一般可用这个方法你先试一下|A-λE|c1+c3r3-r1这样就可以按第1列展开, 提出了 1-λ之后的2次多项式用十字相乘法分解你体会一下上面的做法, 是将 (2,1) 元素化为0的同时, (1,1) 与 (3,1) 元素成比例

求特征向量用matlab中eig命令第三个问题应该是阶段误差的原因吧！

设 A 是n阶方阵，如果存在数m和非零n维列向量 x，使得 Ax=mx 成立，则称 m 是A的一个特征值（characteristic value)或本征值（eigenvalue)。非零n维列向量x称为矩阵A的属于（对应于）特征值m的特征向量或本征向量，简称A的特征向量或A的本征向量。2求矩阵特征值的方法Ax=mx，等价于求m，使得(mE-A)x=0，其中E是单位矩阵，0为零矩阵。|mE-A|=0，求得的m值即为A的特征值。|mE-A| 是一个n次多项式，它的全部根就是n阶方阵A的全部特征值，这些根有可能相重复，也有可能是复数。如果n阶矩阵A的全部特征值为m1 m2 ... mn，则|A|=m1*m2*...*mn同时矩阵A的迹是特征值之和：tr（A）=m1+m2+m3+…+mn[1]如果n阶矩阵A满足矩阵多项式方程g(A)=0, 则矩阵A的特征值m一定满足条件g(m)=0;特征值m可以通过解方程g(m)=0求得。如果您觉得正确或者采纳的话，麻烦给我好评哦，谢谢。

表示等价的信道的信道各项增益因子.当前信道通过正交变换之后可以表示为等价信道(无干扰)的形式.但是接收方和发送方都要经过矩阵处理.

(1)定理：复数域上的线性空间可以分解为线性变换Ə的根子空间的直和接下来回到原题可知，不妨设X属于U1，那么记U=U2U3。。。Um则可知，X-X1属于U1同时有，X2+….Xm属于U故元素X-X1同时属于U1和U且易证：不同特征值的根向量线性无关所以X-X1不为零元素这就与U和U1是直和矛盾！ 从而原命题得证！(2)用（1）的结论就可以了

设k是矩阵a的特征值，x是对应k的矩阵a的非零的特征向量。则，ax=kx,(a-ki)x=0,若det(a-ki)不等于0.则，方程(a-ki)x=0只有唯一的解x=0.与x非零矛盾。因此，det(a-ki)=0.

奇异矩阵是不可逆的矩阵。众所周知，矩阵描述线性变换。若这个变换可逆，就是正常的（regular）；反之就是“奇怪（singular）”的。如：（顺时针转90°），它的逆就是（逆时针转90°）。又如：将一个多维空间，压缩到了一个点（即0矩阵），则这个变换是不可逆的。因为你无法将一个点，逆向扩张为一个空间。如果可逆，请问这个变换后的原多维空间，应该是一维的，还是二维三维的呢？甚至还可能是三维空间中的二维平面？这种空间压缩，就是因为代表变换的基向量线性相关，或者说行列式（单位空间的比率）=0。为什么不可逆是奇怪的？可以这样理解：线性变换是由几个基向量来表示的。向量线性无关是常态，相关才是特殊的。比如二维空间里俩向量，显然不共线比共线更普遍。高维同理。线性无关意味着没降维，可逆。因此可逆是常态，不可逆才是“奇怪（singular）”的。还有一个角度，对于Ax=b，奇异意味着可能无解：线性变换是由几个基向量来表示的。例如二维空间，两个不共线的向量，可以组合出所有向量；但是一旦共线，就可能无解（singular）。