主成分分析和层次分析法的区别和联系

1.主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。在实证问题研究中，为了全面、系统地分析问题，我们必须考虑众多影响因素。这些涉及的因素一般称为指标，在统计分析中也称为变量。因为每个变量都不同程度地反映了所研究问题的某些信息，并且指标之间有一定的相关性，因而所得的统计数据反映的信息在一定程度上有重叠。在用统计方法研究多变量问题时，变量太多会增加计算量和增加分析问题的复杂性，人们希望在进行定量分析的过程中，涉及的变量较少，得到的信息量较多。 2.科学研究所涉及的课题往往比较复杂，是因为影响客观事物的因素多，需要考察的变量多。在大部分实际问题中，变量之间是有一定的相关性的，人们自然希望找到较少的几个彼此不相关的综合指标尽可能多地反映原来众多变量的信息 （1）主成分个数远远少于原有变量的个数  原有变量综合成少数几个因子之后，因子将可以替代原有变量参与数据建模，这将大大减少分析过程中的计算工作量。  （2）主成分能够反映原有变量的绝大部分信息  因子并不是原有变量的简单取舍，而是原有变量重组后的结果，因此不会造成原有 变量信息的大量丢失，并能够代表原有变量的绝大部分信息 （3）主成分之间应该互不相关 通过主成分分析得出的新的综合指标（主成分）之间互不相关，因子参与数据建模能够有效地解决变量信息重叠、多重共线性等给分析应用带来的诸多问题 （4）主成分具有命名解释性 一、对原始数据进行标准化 二、计算相关系数矩阵 三、计算特征值与特征向量 四、计算主成分载荷 五、各主成分的得分 主成分分析有以下几方面的应用： ①对原始指标进行综合：主成分分析的主要作用是在基本保留原始指标信息的前提下，以互不相关的较少个数的综合指标来反映原来指标所提供的信息。 ②探索多个原始指标对个体特征的影响：对于多个原始指标，求出主成分后，可以利用因子载荷阵的结构，进一步探索各主成分与多个原始指标之间的相互关系，分析各原始指标对各主成分的影响作用。 ③对样本进行分类：求出主成分后，如果各主成分的专业意义较为明显，可以利用各样品的主成分得分来进行样品的分类，可能就会与分类预测算法结合。 我们也可以思考下，每一个数据处理算法都不是孤立存在的，而是相互补充。

主成分分析是指通过将一组可能存在相关性的变量转换城一组线性不相关的变量，转换后的这组变量叫主成分。主成分分析步骤：1、对原始数据标准化，2、计算相关系数，3、计算特征，4、确定主成分，5、合成主成分。美信分析

1、主成分分析（Principal Component Analysis，PCA）， 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。 2、在实际课题中，为了全面分析问题，往往提出很多与此有关的变量（或因素），因为每个变量都在不同程度上反映这个课题的某些信息。 3、主成分分析首先是由K.皮尔森（Karl Pearson）对非随机变量引入的，尔后H.霍特林将此方法推广到随机向量的情形。信息的大小通常用离差平方和或方差来衡量。

主成分分析PCA是将多指标重新组合成一组新的无相关的几个综合指标，是根据实际需要从中选取尽可能少的综合指标，以达到尽可能多地反应原指标信息的分析方法。由于这种方法的第一主成分在所有的原始变量中方差最大，因而综合评价函数的方差总不会超过第一主成分的方差，所以该方法有一定的缺陷，且提取的主成分个数m通常应明显小于原始变量个数p（除非p本身较小），所以在变量较少时就不太适合先用主成分筛选变量，这个视数据情况而定 主成分分析实现步骤： 1、原始数据标准化，消除变量量纲不同的影响； 2、计算相关系数矩阵，计算特征值和对应的特征向量； 3、计算贡献率和累计贡献率。 疑问解答： 1.计算特征值的含义？    PCA的本质是对角化协方差矩阵，后对一个n x n的对称协方差矩阵分解求特征值和特征向量，就会产生n个n维正交基，每个正交基对应一个特征值，吧矩阵投影在这n个基上，此时的特征值的横就表示在该基上的投影长度，特征值越大，说明矩阵对应的特征向量上的方差越大，样本点越离散，越容易区分，包含的信息量越多 2.主成分系数   根据主成分系数判断主成分主要依赖的几个变量，根据主要依赖变量总结该主成分（综合指标）代表的性质 3.主成分得分   主成分得分其实就是降维之后数据，可对降维之后的主成分得分进行聚类分析，得到相似的类别群体

主成分分析(PCA)是最常见的降维算法。 在PCA中，我们要做的是找到一个方向向量（Vector direction），当我们把所有的数据都投射到该向量上时，我们希望投射平均均方误差能尽可能地小。方向向量是一个经过原点的向量，而投射误差是从特征向量向该方向向量作垂线的长度。 下面给出主成分分析问题的描述： 问题是要将 维数据降至 维，目标是找到向量 , ,..., 使得总的投射误差最小。主成分分析与线性回顾的比较： 主成分分析与线性回归是两种不同的算法。主成分分析最小化的是投射误差（Projected Error），而线性回归尝试的是最小化预测误差。线性回归的目的是预测结果，而主成分分析不作任何预测。 上图中，左边的是线性回归的误差（垂直于横轴投影），右边则是主要成分分析的误差（垂直于红线投影）。 PCA 减少 维到 维： 第一步是均值归一化。我们需要计算出所有特征的均值，然后令 。如果特征是在不同的数量级上，我们还需要将其除以标准差 。 第二步是计算协方差矩阵（covariance matrix） ： 第三步是计算协方差矩阵 的特征向量（eigenvectors） PCA算法可以用在降维、降噪、可视化等方面。

什么是主成分分析法 主成分分析法： 英文全名 Principal Component Analysis 简称 PCA ，由名字就可以看出来，这是一个挑重点分析的方法。主成分分析 法是通过 恰当 的数学变换 ，使新变量—— 主成分成为原变量 的线性 组合 ，并选 取少数 几个在变差总信息量中 比例较 大的主成分来分析 事物 的一种方法 。 主成分在变差信息量中的比例越大 ， 它在综合评价 中的作用就越大 思想： 整体思想就是化繁为简，抓住问题关键，也就是降维思想。当然，既然是抓住关键，那么自然就是以牺牲精度为代价。 解决问题： 因为每个变量都在不同程度上反映了所研究问题的某些信息，并且指标之间彼此有一定的相关性，因而所得的统计数据反映的信息在一定程度上有重叠。 在用统计方法研究多变量问题时，变量太多会增加计算量和分析问题的复杂性。 人们希望在进行定量分析过程中，涉及的变量较少，得到的信息量较多。为了尽可能的减少冗余和噪音，一般情况可以从相关变量中选择一个，或者把几个相关变量综合为一个变量作为代表，用少数变量来代表所有变量。 原理： 因为评估所涉及的众多变量之间既然有一定的相关性，就必然存在着起支配作用的因素。根据这一点，通过对原始变量和相关矩阵的内部结构的关系研究 ，找出影响目标变量某一要素的几个综合指标，使综合指标为原来变量的线性拟合。 这样，综合指标不仅保留了原始变量的主要信息，且彼此间不相关，又比原始变量具有某些更优越的性质，使得我们在研究复杂目标变量评估问题时，容易抓住主要矛盾。 形象理解 比如，某学籍数据，有两列 M 和 F ，其中M 列的取值是如果学生为男性，则取值为 1 如果为女性，则取值为 0 。F 列，如果为男性则取值为 0 否则取值为一。 由这两种关系可以知道，这两列数据是强相关的。只要保留一列，就能够完全还原另外一列。  当然，不要局限于数据删除，还有数据转换，删除可以理解为在此方法中的一种方式。 当然，上述情况在真实数据中是不可能出现的。这里只是借此介绍一下这种思维。真实情况中， 我们需要考虑删除哪一列信息可以使得损失最小？或者是通过变换数据就能使得损失信息更小？又如何度量信息的丢失量？原始数据的处理降维有哪些步骤？ 坐标示例： 我们来看下面这张图，这是一个椭圆的点阵。椭圆上面有一个长轴和一个短轴。现在我们要表示点阵的主要变化趋势，就可以以长短轴（或者平行于长短轴）构建新的坐标系。在极端的情况下，短轴变成了一个点，那么长轴就能代表这个点阵的趋势和特点。这样，一个二维数据，就变成了一维。 基础知识储备 内积与投影： 内积运算，将两个向量映射为一个实数。其几何意义就是 向量 A ，在向量 B 的投影长度。（下图是以二维向量为例，多维空间依然是如此。） 上式中，B 为单位向量 基 ： 同样以上图 B为例，B向量为（3，2）其表示的其实为在 X 轴的投影值为3 ，在Y轴的投影值 为 2 。这其实加入了一个隐含信息，就是本坐标轴 分别是以 X Y轴为方向的单位向量。这里的 X Y 轴其实就是我们所提到的 基。只不过一般默认为 （1，0）和（0，1） 所以呢，要描述一组向量，首先是要确定一组基。然后求这个向量在这组基中的投影即可。对基的要求是线性无关，并不一定非要正交。但是因为正交基有较好的性质，所以一般情况我们都是用正交基。 基变换 上面我们了解了基的原理。如果同样把（3，2）放到新基里面描述，那就是把向量和新基相乘即可。 如果是在描述中，有多个基呢？那就是与基阵相乘。 如何实现降维 上面的思路，我们都清楚了。那么我们如何通过基变换来降维呢？这里我们来举个例子。假设我们有一个矩阵如下。 为了处理方面，我们现在把每个字段都减去字段平均值，那么就变成了如下所示 表示在坐标上如下图 那么，我们现在想用一维坐标来表示，而且要求尽可能的保留原来的信息，我们需要如何选择方向（基）呢？（二维降一维） 思路就是，希望投影后的值尽可能的分散，避免重合。 协方差： 在概率论与统计学中，协方差用于衡量两个随机变量的联合变化程度。而方差则是协方差的一种特殊情况，即变量与自身的协方差。 期望：在概率论和统计学中，一个离散性随机变量的期望值（或数学期望，亦简称期望，物理学中称为期待值）是试验中每次可能的结果乘以其结果概率的总和。比如骰子的期望值为 1* 1/6 +2*1/6 + …+ 6*1/6 = 3.5 协方差公式为： 其中，E(X) = u E(Y) = v 协方差表示的是两个变量的总体的误差 ，这与只表示一个变量误差的方差不同。 如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。 如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。如果X 与Y 是统计独立的，那么二者之间的协方差就是0 流程和步骤 第一步：标准化 把输入数据集变量的范围标准化，以使它们中的每一个均可以大致成比例的分析。简单说，就是要把存在较大差异的数据转变为可比较的数据。比如把 0-100 的变量转化为 0-1 的变量。这一步一般可以通过减去平均值，再除以每个变量值的标准差来完成。标准差公式如下 那么常用的标准化指标变量公式可为 第二步：协方差矩阵计算 这一步的目的是：了解输入数据集的变量是如何相对于平均值变化的。或者换句话说，是为了查看它们之间是否存在任何关系。因为有时候，变量间高度相关是因为它们包含大量的信息。因此，为了识别这些相关性，我们进行协方差矩阵计算。 协方差矩阵是p×p对称矩阵（其中p是维数），其所有可能的初始变量与相关联的协方差作为条目。 好了，现在我们知道协方差矩阵只不过是一个表，汇总了所有可能配对的变量间相关性。下面就是计算协方差矩阵的特征向量和特征值，以筛选主要成分。 第三步：计算协方差矩阵的特征向量和特征值，用以识别主成分 特征向量和特征值都是线性代数概念，需要从协方差矩阵计算得出，以便确定数据的主成分。开始解释这些概念之前，让我们首先理解主成分的含义 主成分是由初始变量的线性组合或混合构成的新变量。该组合中新变量（如主成分）之间彼此不相关，且大部分初始变量都被压缩进首个成分中。所以，10维数据会显示10个主成分，但是PCA试图在第一个成分中得到尽可能多的信息，然后在第二个成分中得到尽可能多的剩余信息，以此类推。 例如，假设你有一个10维数据，你最终将得到的内容如下面的屏幕图所示，其中第一个主成分包含原始数据集的大部分信息，而最后一个主成分只包含其中的很少部分。因此，以这种方式组织信息，可以在不丢失太多信息的情况下减少维度，而这需要丢弃携带较少信息的成分。 在这里，方差和信息间的关系是，线所承载的方差越大，数据点沿着它的分散也越大，沿着线的散点越多，它所携带的信息也越多。简单地说，只要把主成分看作是提供最佳角度来观察和评估数据的新轴，这样观测结果之间的差异就会更明显。 协方差矩阵的特征向量实际上是方差最多的轴的方向（或最多的信息），我们称之为主成分。通过特征值的顺序对特征向量进行排序，从最高到最低，你就得到了按重要性排序的主成分。 第四步：特征向量 正如我们在上一步中所看到的，计算特征向量并按其特征值依降序排列，使我们能够按重要性顺序找到主成分。在这个步骤中我们要做的，是选择保留所有成分还是丢弃那些重要性较低的成分（低特征值），并与其他成分形成一个向量矩阵，我们称之为特征向量。 因此，特征向量只是一个矩阵，其中包含我们决定保留的成分的特征向量作为列。这是降维的第一步，因为如果我们选择只保留n个特征向量（分量）中的p个，则最终数据集将只有p维。 第五步：沿主成分轴重新绘制数据 在前面的步骤中，除了标准化之外，你不需要更改任何数据，只需选择主成分，形成特征向量，但输入数据集时要始终与原始轴统一（即初始变量）。 这一步，也是最后一步，目标是使用协方差矩阵的特征向量去形成新特征向量，将数据从原始轴重新定位到由主成分轴中（因此称为主成分分析）。这可以通过将原始数据集的转置乘以特征向量的转置来完成。 优缺点 优点：化繁为简，降低了计算量。 缺点：一定程度上损失了精度。并且只能处理“线性问题”，这是一种线性降维技术、 总结 假设我们拿到了一份数据集，有m个样本，每个样本由n个特征（变量）来描述，那么我们可以按照以下的步骤进行降维： 1、将数据集中的每个样本作为列向量，按列排列构成一个n行m列的矩阵； 2、将矩阵的每一个行向量（每个变量）都减去该行向量的均值，从而使得新行向量的均值为0，得到新的数据集矩阵X； 3、求X的协方差矩阵，并求出协方差矩阵的特征值λ和单位特征向量e； 4、按照特征值从大到小的顺序，将单位特征向量排列成矩阵，得到转换矩阵P，并按PX计算出主成分矩阵； 5、用特征值计算方差贡献率和方差累计贡献率，取方差累计贡献率超过85%的前k个主成分，或者想降至特定的k维，直接取前k个主成分。 参考文章： https://blog.csdn.net/Murray_/article/details/79945148 参考文章： https://www.cnblogs.com/Luv-GEM/p/10765574.html 参考文章： https://www.ssffx.com/wangzhanjianshe/40715.html

在前面我们学习了一种有监督的降维方法——线性判别分析（Linear Dscriminant Analysis，LDA）。LDA不仅是一种数据压缩方法还是一种分类算法，LDA将一个高维空间中的数据投影到一个低维空间中去，通过最小化投影后各个类别的类内方差和类间均值差来寻找最佳的投影空间。 本文介绍的主成分分析（Principe Component Analysis，PCA）也是一种降维技术，与LDA不同的是，PCA是一种无监督降维技术，因此PCA的主要思想也与LDA不同。LDA是一种有监督的分类兼降维技术，因此其最大化均值差最小化类内差的思想够保证在降维后各个类别依然能够很好地分开。但PCA只用来降维而无需分类，因此PCA需要考虑的是如何在降维压缩数据后尽可能的减少数据信息的损失。在PCA中使用协方差来表示信息量的多少，至于为什么能这么表示后面再进行介绍。下面我们从一些基本的线代知识开始。 在进行数据分析时我们的数据样本经常被抽象为矩阵中的一组向量，了解一些线代基础知识理解PCA非常重要，但在这里我们并不准备也不可能将所有的线代知识都罗列以便，因此这里我们仅会复习一些对理解PCA较为重要的东西。更多线代的内容可参考下面几个链接： 为了方便，我们这里以一个二维平面为例。 在前面我们说了，在数据处理时我们经常讲一个样本数据当作一个向量。在二维平面中，一个向量从不同的角度有不同的理解方式，例如对于向量 (-2, 3) T ： 在我们描述任何东西的时候其实都是选择了一个参照系的，也即事物都是相对的，最简单的运动与静止（以静止的事物为参照），说一个有点意思的——人，人其实也是放在一个参考系中的，我们可以将其理解为生物种类系统，抛开这个大的系统去独立的定义人是很难让人理解的。向量也是这样的，虽然我们前面没有指明，但是上面的向量其实是在一个默认坐标系（或称为空间）中的，也即x，y轴，但是在线性代数中我们称其为基。在线代中任何空间都是由一组线性无关的（一维空间由一个基组成）基向量组成。这些基向量可以组成空间中的任何向量。 现在假设我们有如下一个矩阵相乘的式子： 因此，上面的例子可以有两种理解方式： （1）如果我们将值全为1对角方阵视为标准坐标系，则它表示在 i=(1, -2) T 和 j=(3, 0) T 这组基底下的坐标 (-1, 2) T 在基底 (1, 0) T 、(0, 1) T 下的坐标，如下： 当我们讨论向量 (-1, 2) T 时，都隐含了一个默认的基向量假设：沿着x轴方向长度为1的 i，沿着y轴长度为1的j。 但是，(-1, 2) T 可以是任何一组基底下的向量。例如，他可能是i"=(2,1) T , j"=(-1, 1) T 这组基下的一个向量。此时他在我们默认坐标系 i=(1, 0) T ，j=(0, 1) T 下的计算过程如下： 我们可以从另一个角度理解基地变换的过程：我们先 误认为 (-1, 2) T 是坐标系i=(1, 0) T ，j=(0, 1) T 下的坐标，此时我们通过线性变换[[2, -1], [1, 1]]（每个嵌套列表看做一行）把坐标轴i，j（基坐标）分别变换到了新的位置 i1=(2, 1) T , j1=(-1, 1) T （他们也是用默认坐标系表示的），即[2, -1], [1, 1]]。此时我们把“误解”转换成了真正的向量。如下： 在上面我们说了矩阵是一种变换，现在我们继续从这个角度来理解特征值和特征向量。为了方便理解，我们在这里做一个类比——将变换看作物理中的作用力。我们知道一个力必须有速度和方向，而矩阵对一个向量施加的变换也是一样的。考虑一下特征向量的定义： 上面介绍了一些基本的线性代数相关的知识，下面开始介绍PCA的原理。 上面我们讨论了选择不同的基可以对同样一组数据给出不同的表示，而且如果基的数量少于向量本身的维数，则可以达到降维的效果。但是我们还没有回答一个最最关键的问题：如何选择基才是最优的。或者说，如果我们有一组N维向量，现在要将其降到K维（K小于N），那么我们应该如何选择K个基才能最大程度保留原有的信息？ 要完全数学化这个问题非常繁杂，这里我们用一种非形式化的直观方法来看这个问题。 为了避免过于抽象的讨论，我们仍以一个具体的例子展开。假设我们的数据由五条记录组成，将它们表示成矩阵形式： 其中每一列为一条数据记录，而一行为一个字段。为了后续处理方便，我们首先将每个字段内所有值都减去字段均值，其结果是将每个字段都变为均值为0（这样做的道理和好处后面会看到）。中心化的数据为： 通过上一节对基变换的讨论我们知道，这个问题实际上是要在二维平面中选择一个方向，将所有数据都投影到这个方向所在直线上，用投影值表示原始记录。这是一个实际的二维降到一维的问题。 那么如何选择这个方向（或者说基）才能尽量保留最多的原始信息呢？一种直观的看法是：希望投影后的投影值尽可能分散。 以上图为例，可以看出如果向x轴投影，那么最左边的两个点会重叠在一起，中间的两个点也会重叠在一起，于是本身四个各不相同的二维点投影后只剩下两个不同的值了，这是一种严重的信息丢失，同理，如果向y轴投影最上面的两个点和分布在x轴上的两个点也会重叠。所以看来x和y轴都不是最好的投影选择。我们直观目测，如果向通过第一象限和第三象限的斜线投影，则五个点在投影后还是可以区分的。 下面，我们用数学方法表述这个问题。 对于上面二维降成一维的问题来说，找到那个使得方差最大的方向就可以了。不过对于更高维，还有一个问题需要解决。考虑三维降到二维问题。与之前相同，首先我们希望找到一个方向使得投影后方差最大，这样就完成了第一个方向的选择，继而我们选择第二个投影方向。 如果我们还是单纯只选择方差最大的方向，很明显，这个方向与第一个方向应该是“几乎重合在一起”，显然这样的维度是没有用的，因此，应该有其他约束条件。 从直观上说，让两个字段尽可能表示更多的原始信息，我们是不希望它们之间存在（线性）相关性的，因为相关性意味着两个字段不是完全独立，必然存在重复表示的信息。 可以看到，在字段均值为0的情况下，两个字段的协方差简洁的表示为其内积除以元素数m。 当协方差为0时，表示两个字段完全独立。为了让协方差为0，我们选择第二个基时只能在与第一个基正交的方向上选择。因此最终选择的两个方向一定是正交的。 至此，我们得到了降维问题的优化目标： 将一组N维向量降为K维（K大于0，小于N），其目标是选择K个单位（模为1）正交基，使得原始数据变换到这组基上后，各字段两两间协方差为0，而字段的方差则尽可能大（在正交的约束下，取最大的K个方差）。 上面我们导出了优化目标，但是这个目标似乎不能直接作为操作指南（或者说算法），因为它只说要什么，但根本没有说怎么做。所以我们要继续在数学上研究计算方案。 我们看到，最终要达到的目的与字段内方差及字段间协方差有密切关系。因此我们希望能将两者统一表示，仔细观察发现，两者均可以表示为内积的形式，而内积又与矩阵相乘密切相关。于是我们来了灵感： 假设我们只有a和b两个字段，那么我们将它们按行组成矩阵X： 然后我们用X乘以X的转置，并乘上系数1/m： 根据矩阵相乘的运算法则，这个结论很容易被推广到一般情况： 设我们有m个n维数据记录，将其按列排成n乘m的矩阵X，设C=1/m(XX T )，则C是一个对称矩阵，其对角线分别个各个字段的方差，而第i行j列和j行i列元素相同，表示i和j两个字段的协方差。 根据上述推导，我们发现要达到优化目前，等价于将协方差矩阵对角化：即除对角线外的其它元素化为0，并且在对角线上将元素按大小从上到下排列，这样我们就达到了优化目的 。这样说可能还不是很明晰，我们进一步看下原矩阵与基变换后矩阵协方差矩阵的关系： 设原始数据矩阵X对应的协方差矩阵为C，而P是一组基按行组成的矩阵，设Y=PX，则Y为P对X做基变换后的数据。设Y的协方差矩阵为D，我们推导一下D与C的关系： 现在所有焦点都聚焦在了协方差矩阵对角化问题上，有时，我们真应该感谢数学家的先行，因为矩阵对角化在线性代数领域已经属于被玩烂了的东西，所以这在数学上根本不是问题。 由上文知道，协方差矩阵C是一个是对称矩阵，在线性代数上，实对称矩阵有一系列非常好的性质： 1）实对称矩阵不同特征值对应的特征向量必然正交。 2）设特征向量λ重数为r，则必然存在r个线性无关的特征向量对应于λ，因此可以将这r个特征向量单位正交化。 则对协方差矩阵C有如下结论： 以上结论不再给出严格的数学证明，对证明感兴趣的朋友可以参考线性代数书籍关于“实对称矩阵对角化”的内容。 到这里，我们发现我们已经找到了需要的矩阵P：P = E T . P是协方差矩阵的特征向量单位化后按行排列出的矩阵，其中每一行都是C的一个特征向量。如果设P按照Λ中特征值的从大到小，将特征向量从上到下排列，则用P的前K行组成的矩阵乘以原始数据矩阵X，就得到了我们需要的降维后的数据矩阵Y。 PCA的特征向量的求解除了使用上述最大化方差的矩阵分解方法，还可以使用最小化损失法，具体可参见： 机器学习中的数学(4)-线性判别分析（LDA）, 主成分分析(PCA) 。 总结一下PCA的算法步骤： 设有m条n维数据。 LDA和PCA都用于降维，两者有很多相同，也有很多不同的地方，因此值得好好的比较一下两者的降维异同点。 首先我们看看相同点： 我们接着看看不同点： 参考： PCA的数学原理 线性代数的直觉 线性判别分析LDA原理总结

ENVI主成分分析是通过Principle Components选项生成互不相关的输出波段，达到隔离噪声和减少数据集的维数的方法。 由于多波段数据经常是高度相关的，主成分变换寻找一个原点在数据均值的新的坐标系统，通过坐标轴的旋转来使数据的方差达到最大，从而生成互不相关的输出波段。 主成分（PC）波段是原始波谱波段的线性合成，它们之间是互不相关的。可以计算输出主成分波段（与输入的波谱波段数相同）。第一主成分包含最大的数据方差百分比，第二主成分包含第二大的方差，以此类推，最后的主成分波段由于包含很小的方差（大多数由原始波谱的噪声引起），因此显示为噪声。由于数据的不相关，主成分波段可以生成更多种颜色的。 具体操作： 打开ENVI——File——Open Image File——选择一个影像文件添加 RGB Color——设置RGB为321（不同的影像最佳波段组合不一致）—— No display——New display——Load RGB 点击Transform——Principal Components（主成分分析）——Forward PC Rotation（正向主成分旋转）——Computer New Statistics and Rotate——选择影像文件，设置输出路径，ok，进入漫长等待中...... 之后同样设置Gray Scale和RGB Color——Display——New Display——Load，就会显示主成分分析之后的影像； 右击#1——Link Displays——选择需要连接的两个窗口，点击ok ，方便对比。

主成分分析实例：一个 平均值 为(1, 3)、标准差在(0.878, 0.478)方向上为3、在其正交方向为1的 高斯分布 。这里以黑色显示的两个向量是这个分布的 协方差矩阵 的 特征向量 ，其长度按对应的 特征值 之平方根为比例，并且移动到以原分布的平均值为原点。 在多元统计分析中， 主成分分析 （英语： Principal components analysis ， PCA ）是一种分析、简化数据集的技术。主成分分析经常用于减少数据集的 维数 ，同时保持数据集中的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。但是，这也不是一定的，要视具体应用而定。由于主成分分析依赖所给数据，所以数据的准确性对分析结果影响很大。 主成分分析由 卡尔·皮尔逊 于1901年发明，用于分析数据及建立数理模型。其方法主要是通过对 协方差矩阵 进行特征分解，以得出数据的主成分（即 特征向量 ）与它们的权值（即 特征值 [3] ）。PCA是最简单的以特征量分析多元统计分布的方法。其结果可以理解为对原数据中的 方差 做出解释：哪一个方向上的数据值对方差的影响最大？换而言之，PCA提供了一种降低数据 维度 的有效办法；如果分析者在原数据中除掉最小的 特征值 所对应的成分，那么所得的低维度数据必定是最优化的（也即，这样降低维度必定是失去讯息最少的方法）。主成分分析在分析复杂数据时尤为有用，比如 人脸识别 。 PCA是最简单的以特征量分析多元统计分布的方法。通常情况下，这种运算可以被看作是揭露数据的内部结构，从而更好的解释数据的变量的方法。如果一个多元数据集能够在一个高维数据空间坐标系中被显现出来，那么PCA就能够提供一幅比较低维度的图像，这幅图像即为在讯息最多的点上原对象的一个‘投影"。这样就可以利用少量的主成分使得数据的维度降低了。 PCA跟因子分析密切相关，并且已经有很多混合这两种分析的统计包。而真实要素分析则是假定底层结构，求得微小差异矩阵的特征向量。 PCA，Principle Component Analysis，即主成分分析法，是特征降维的最常用手段。顾名思义，PCA 能从冗余特征中提取主要成分，在不太损失模型质量的情况下，提升了模型训练速度。 如上图所示，我们将 样本到红色向量的距离 称作是投影误差（Projection Error）。以二维投影到一维为例，PCA 就是要找寻一条直线，使得各个特征的投影误差足够小，这样才能尽可能的保留原特征具有的信息。 因为PCA仅保留了特征的主成分，所以PCA是一种有损的压缩方式. 从 PCA 的执行流程中，我们知道，需要为 PCA 指定目的维度 k 。如果降维不多，则性能提升不大；如果目标维度太小，则又丢失了许多信息。 由于 PCA 减小了特征维度，因而也有可能带来过拟合的问题。PCA 不是必须的，在机器学习中，一定谨记不要提前优化，只有当算法运行效率不尽如如人意时，再考虑使用 PCA 或者其他特征降维手段来提升训练速度。 降低特征维度不只能加速模型的训练速度，还能帮我们在低维空间分析数据，例如，一个在三维空间完成的聚类问题，我们可以通过 PCA 将特征降低到二维平面进行可视化分析。 根据 13 个特征对葡萄酒分类（推销给不同品味的人），利用 PCA ，可以将数据从 13 维降到 2 维进行可视化。 array([[1.369e+01, 3.260e+00, 2.540e+00, 2.000e+01, 1.070e+02, 1.830e+00, 5.600e-01, 5.000e-01, 8.000e-01, 5.880e+00, 9.600e-01, 1.820e+00, 6.800e+02], [1.269e+01, 1.530e+00, 2.260e+00, 2.070e+01, 8.000e+01, 1.380e+00, 1.460e+00, 5.800e-01, 1.620e+00, 3.050e+00, 9.600e-01, 2.060e+00, 4.950e+02], [1.162e+01, 1.990e+00, 2.280e+00, 1.800e+01, 9.800e+01, 3.020e+00, 2.260e+00, 1.700e-01, 1.350e+00, 3.250e+00, 1.160e+00, 2.960e+00, 3.450e+02]]) array([[ 0.87668336, 0.79842885, 0.64412971, 0.12974277, 0.48853231, -0.70326216, -1.42846826, 1.0724566 , -1.36820277, 0.35193216, 0.0290166 , -1.06412236, -0.2059076 ], [-0.36659076, -0.7581304 , -0.39779858, 0.33380024, -1.41302392, -1.44153145, -0.5029981 , 1.70109989, 0.02366802, -0.84114577, 0.0290166 , -0.73083231, -0.81704676], [-1.69689407, -0.34424759, -0.32337513, -0.45327855, -0.14531976, 1.24904997, 0.31964204, -1.52069698, -0.4346309 , -0.75682931, 0.90197362, 0.51900537, -1.31256499]]) array([0.36884109, 0.19318394, 0.10752862, 0.07421996, 0.06245904, 0.04909 , 0.04117287, 0.02495984, 0.02308855, 0.01864124, 0.01731766, 0.01252785, 0.00696933]) array([[-2.17884511, -1.07218467], [-1.80819239, 1.57822344], [ 1.09829474, 2.22124345]]) LogisticRegression(C=1.0, class_weight=None, dual=False, fit_intercept=True, intercept_scaling=1, max_iter=100, multi_class="ovr", n_jobs=1, penalty="l2", random_state=0, solver="liblinear", tol=0.0001, verbose=0, warm_start=False) array([1, 3, 2, 1, 2]) array([[14, 0, 0], [ 1, 15, 0], [ 0, 0, 6]]) 准确率(精度)为 : 0.9722222222222222 参考： https://zh.wikipedia.org/wiki/主成分分析 《 斯坦福机器学习》 《机器学习 A-Z》

最近在 3d face 模型生成研究中，经常使用PCA，所以就把PCA的学习记录了下来。主成分分析（PCA， Principal Component Analysis）为我们提供了一种压缩数据的方式，我们也可以将它看作学习数据表示的无监督学习算法。PCA学习一种比原始维度更低的表示，也学习了一种元素之间没有线性相关的表示。我们知道一个经典的无监督学习任务就是找到数据的最佳表示。最佳表示可以是在比本身表示的信息更简单或者更易访问受到一些惩罚火或限制的情况下，尽可能多地保留原始数据的信息。那么PCA就为我们提供了这样一种方法。 PCA(Principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据降维算法。PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。PCA的工作就是从原始的空间中顺序地找一组相互正交的坐标轴，新的坐标轴的选择与数据本身是密切相关的。其中，第一个新坐标轴选择是原始数据中方差最大的方向，第二个新坐标轴选取是与第一个坐标轴正交的平面中使得方差最大的，第三个轴是与第1,2个轴正交的平面中方差最大的。依次类推，可以得到n个这样的坐标轴。通过这种方式获得的新的坐标轴，我们发现，大部分方差都包含在前面k个坐标轴中，后面的坐标轴所含的方差几乎为0。于是，我们可以忽略余下的坐标轴，只保留前面k个含有绝大部分方差的坐标轴。事实上，这相当于只保留包含绝大部分方差的维度特征，而忽略包含方差几乎为0的特征维度，实现对数据特征的降维处理。 我们有样本X和样本Y，那么可以得到样本X的均值： 样本X方差： 由以上的基础公式我们可以得出以下的结论： 协方差为正时，说明X和Y是正相关关系；协方差为负时，说明X和Y是负相关关系；协方差为0时，说明X和Y是相互独立，互不相关。Cov(X,X)就是X的方差。当样本是n维数据时，它们的协方差实际上是协方差矩阵(对称方阵)。例如，对于3维数据(x,y,z)，计算它的协方差就是： 其实协方差矩阵和散度矩阵关系密切，散度矩阵就是协方差矩阵乘以（总数据量-1）。因此它们的 特征值 和 特征向量 是一样的。这里值得注意的是，散度矩阵是 SVD奇异值分解 的一步，因此PCA和SVD是有很大联系 其中，λ是特征向量v对应的特征值，一个矩阵的一组特征向量是一组正交向量。 其中，Q是矩阵A的特征向量组成的矩阵，而矩阵Σ则是一个对角阵，对角线上的元素就是特征值。 假设A是一个m*n的矩阵，那么得到的U是一个 m*m 的方阵，U里面的正交向量被称为左奇异向量。Σ是一个 m*n 的矩阵，Σ除了对角线其它元素都为0，对角线上的元素称为奇异值。 Vt (t在右上角)是v的转置矩阵，是一个 n*n 的矩阵，它里面的正交向量被称为右奇异值向量。而且一般来讲，我们会将Σ上的值按从大到小的顺序排列。 降到k维 注：这里除或不除样本数量n或n-1,其实对求出的特征向量没有影响。 的特征值与特征向量。 注：为什么使用： 降到k维 ,当样本数多、样本特征数也多的时候，这个计算还是很大的。当我们用到SVD分解协方差矩阵的时候，SVD有两个好处： 对照就会发现，结果是不一样的。sklearn中的PCA是通过svd_flip函数实现的，sklearn对奇异值分解结果进行了一个处理，因为 ui * σi * vi=(-ui) * σi * (-vi) ，也就是u和v同时取反得到的结果是一样的，而这会导致通过PCA降维得到不一样的结果（虽然都是正确的）。具体了解可以自己分析一下sklearn中关于PCA的源码。 对于PCA可以做什么，对应于不同的业务，有不同的使用场景。 例如我最早接触时，用来分析2D人脸的图片矩阵化后里面的主要成分，提取出关键的维度，使用低维度的矩阵来表示人脸的特征。 当然对应于其他的数据，也是可以使用PCA的，例如在一个向量化好的用户信息矩阵中，需要提取出关键的维度来作为特征描写。所以他的使用场景就类似于他的名字，分析矩阵里面的主要成分，但是维度具体取多少，需要按照自己的数据来计算，也许需要多次的验证。

主成分分析的前提条件是原始变量之间有一定的相关性 。主成分分析操作步骤1、为消除量纲的影响，先对数据进行标准化处理；2、计算相关系数：一般认为各变量之间的相关系数大于0.3较好；3、KMO检验和Barlett（巴特利）检验；（1）KMO取样适切性量数>=0.6较适宜（这里也是判断能不能用主成分分析的结果的重要指标。）并非所有的数据都适用于主成分分析的。主成分分析本身并不是目的, 实际应用中主成分分析往往是一种手段。目的是通过主成分分析简化数据结构, 在此基础上进行进一步的分析。因此, 使用主成分分析的前提条件是原始数据各个变量之间应有较强的线性相关关系。如果原始变量之间的线性相关程度很小, 它们之间不存在简化的数据结构, 这时进行主成分分析实际是没有意义的。所以, 应用主成分分析时, 首先要对其适用性进行统计检验。主成分分析检验方法有巴特莱特球性检验，KMO检验等，本文主要介绍KMO检验。

主成分分析（Principal Component Analysis，PCA）是一种常用的多元统计分析方法，其优缺点如下：优点：降维效果显著：PCA可以将原始数据集的维度降低，从而方便数据的可视化和处理。减少冗余信息：PCA可以从原始数据中提取出主要的特征，减少冗余信息的影响。去除噪声：PCA可以通过特征值分解的方法去除噪声，提高数据的准确性和可靠性。提高计算效率：PCA通过对协方差矩阵进行特征值分解，可以将大规模数据计算转化为少量特征向量的计算，从而提高计算效率。缺点：对异常值敏感：PCA对异常值比较敏感，可能会导致提取出的主成分偏离真实情况。对数据分布的假设：PCA假设数据符合高斯分布，如果数据分布与该假设不符，则可能导致分析结果不准确。解释性不足：PCA提取的主成分可能难以解释其含义，需要通过额外的分析和解释才能得出结论。受样本量和变量个数限制：PCA的应用需要考虑样本量和变量个数的限制，如果样本量不足或变量过多，可能会导致提取的主成分不具有代表性。

主成分分析用于对数据信息进行浓缩，比如总共有20个指标值，是否可以将此20项浓缩成4个概括性指标。第一步:判断是否进行主成分(pca)分析;判断标准为KMO值大于0.6.第二步:主成分与分析项对应关系判断.第三步：在第二步删除掉不合理分析项后,并且确认主成分与分析项对应关系良好后,则可结合主成分与分析项对应关系,对主成分进行命名.spssau主成分分析操作共有三步：①选择【进阶方法】--【主成分分析】②将分析项拖拽到右侧分析框③点击开始分析请点击输入图片描述默认提供主成分得分和综合得分，分析前勾选“成分得分”、“综合得分”即可。

主成分分析最主要的用途在于“降维”. 举个例子,你要做一项分析,选中了20个指标,你觉得都很重要,但是20个指标对于你的分析确实太过繁琐,这时候,你就可以采用主成分分析的方法进行降维. 20个指标之间会有这样那样的相互关系,相互之间会有影响,通过主成分分析后,得到4个或者5个主成分指标.此时,这几个主成分指标既涵盖了你20个指标中的绝大部分信息,又让你的分析得到了简化（从20维降到4、5维）,简化了分析过程,增加了结果精度.

主成分分析和因子分析都是信息浓缩的方法，即将多个分析项信息浓缩成几个概括性指标。因子分析在主成分基础上，多出一项旋转功能，该旋转目的即在于命名，更容易解释因子的含义。如果研究关注于指标与分析项的对应关系上，或是希望将得到的指标进行命名，SPSSAU建议使用因子分析。主成分分析目的在于信息浓缩（但不太关注主成分与分析项对应关系），权重计算，以及综合得分计算。如希望进行排名比较，计算综合竞争力，可使用主成分分析。SPSSAU可直接使用这两种方法，支持自动保存因子得分及综合得分，不需要手动计算。

KMO检验用于检查变量间的偏相关性 一般认为该值大于0.9时效果最佳 0.7以上尚可，0.6时效果较差 Bartlett"s球形检验用于检验相关阵是否是单位阵 P<0.01说明指标间并非独立，取值是有关系的。可以进行因子分析根据上图 可以看出一共提取了3个主成分 可是能解释的方差为69.958% 软件默认的是提取特征根大于1的主成分 如果加上第四个主成分的话可以解释的变异度为86.26%所以结合专业知识 可以考虑是不是增加一个主成分。

在SPSS中，主成分分析是通过设置因子分析中的抽取方法实现的，如果设置的抽取方法是主成分，那么计算的就是主成分得分，另外，因子分析和主成分分析尽管原理不同，但是两者综合得分的计算方法是一致的。层次分析法根据问题的性质和要达到的总目标，将问题分解为不同的组成因素，并按照因素间的相互关联影响以及隶属关系将因素按不同层次聚集组合，形成一个多层次的分析结构模型，从而最终使问题归结为最低层(供决策的方案、措施等)相对于最高层(总目标)的相对重要权值的确定或相对优劣次序的排定。扩展资料：主成分分析法是一种降维的统计方法，它借助于一个正交变换，将其分量相关的原随机向量转化成其分量不相关的新随机向量，这在代数上表现为将原随机向量的协方差阵变换成对角形阵，在几何上表现为将原坐标系变换成新的正交坐标系，使之指向样本点散布最开的p 个正交方向，然后对多维变量系统进行降维处理，使之能以一个较高的精度转换成低维变量系统，再通过构造适当的价值函数，进一步把低维系统转化成一维系统。参考资料来源：百度百科-主成分分析法

在多点地质统计学中,数据样板构成了一个空间结构,不同方向节点就是一个变量。一个数据事件就是由众多变量值构成的整体。在进行数据事件相似性计算与比较时,需要逐点计算其差异;在进行聚类时亦要对所有数据事件进行比较,导致计算效率非常低下。因此很有必要挖掘数据事件内部结构,将其变量进行组合,求取特征值,并用少量特征值完成数据事件的聚类,有效提高储层建模效率。因此,PCA主成分分析被引入到多点地质统计学中。主成分分析(Pirncipal Component Analysis,PCA)是一种掌握事物主要矛盾的统计分析方法,它可以从多元事物中解析出主要影响因素,揭示事物的本质,简化复杂的问题。PCA的目标是寻找r(r<n)个新变量,使它们反映事物的主要特征,压缩原有数据矩阵的规模。每个新变量是原有变量的线性组合,体现原有变量的综合效果,具有一定的实际含义。这r个新变量称为“主成分”,它们可以在很大程度上反映原来n个变量的影响,并且这些新变量是互不相关的,也是正交的。通过主成分分析,压缩数据空间,将多元数据的特征在低维空间里直观地表示出来。假设x=[x1,x2,…,xp]′是一个p维的随机向量,它遵从正态分布x~N(u,σ2)。导出主成分的问题就是寻找x的线性函数a′x,并使a′x的相应的方差最大。多点地质统计学原理、方法及应用因此,在代数上就是寻找一个正交矩阵a,使a′a=1,并使方差:多点地质统计学原理、方法及应用设矩阵A的特征值为λ1≥λ2≥…≥λp≥0对应λi的特征向量记为ui,令Up×p=多点地质统计学原理、方法及应用则U是正交矩阵,即UU′=I,由于A是实对称矩阵,所以有多点地质统计学原理、方法及应用故多点地质统计学原理、方法及应用当a=u1时，多点地质统计学原理、方法及应用因此,当a=u1时,就满足了方差最大的要求,等于相应的特征值λ1。同理,可推广到一般:多点地质统计学原理、方法及应用并且协方差为多点地质统计学原理、方法及应用这就是说,综合变量的系数aj是协方差矩阵A的特征值λj对应的特征向量ju,综合变量Fj的重要性等同于特征值λj,这样,就可以用少数几个变量来描述综合变量的性质。

面板数据方法很多，最简单的是加权平均一下做一个因子分析1输入数据。2点Analyze 下拉菜单，选Data Reduction 下的Factor 。3打开Factor Analysis后,将数据变量逐个选中进入Variables 对话框中。4单击主对话框中的Descriptive按扭，打开Factor Analysis: Descriptives子对话框，在Statistics栏中选择Univariate Descriptives项要求输出个变量的均值与标准差，在Correlation Matrix 栏内选择Coefficients项，要求计算相关系数矩阵，单击Continue按钮返回Factor Analysis主对话框。5单击主对话框中的Extraction 按钮，打开如下图所示的Factor Analysis: Extraction 子对话框。在Method列表中选择默认因子抽取方法——Principal Components，在Analyze 栏中选择默认的Correlation Matrix 项要求从相关系数矩阵出发求解主成分，在Exact 栏中选择Number of Factors;6， 要求显示所有主成分的得分和所能解释的方差。单击Continue按钮返回Factor Analysis主对话框。6单击主对话框中的OK 按钮，输出结果。统计专业研究生工作室原创，请勿复杂粘贴

得到的主元物理意思或者现实含义没有原来的变量那么清楚，确切。而且得到的特征值有负号的时候，，综合评价函数意义就不明确。

恩！第一个是特征值。一般有大于1的或者大于0.5，累计方差百分比一般要求大于85%才能够进行主成分分析。得到的是每个变量的指标，相关系数吧a。然后就是根据特征值b，求向量系数u，u=a/sqr(b).这样就得到了系数。 F1=α11x1+α12x2+ ... +α1pxp F2=α21x1+α22x2+ ... +α2pxp ... ... ... ... ... ... Fm=αm1x1+αm2x2+ ... +αmpxp然后根据成分构建F的综合模型。有需要帮助hi我！

spss中有选项的，一般选择看特征根我经常帮别人做类似的数据分析的

主成分分析做的仅为变量变换，将原始变量进行线性组合得到互相正交的新变量因子分析需要构造因子模型，用潜在的假想变量（不可观测的潜在变量）和随机影响变量的线性组合表示原始变量。因子旋转是因子分析的核心，因子分析模型中公共因子的系数aij 称为因子载荷，所谓载荷亦即aij 表示第i个变量与第j个公共因子的相关系数，其绝对值越大表示相关的密切程度越高。因子旋转实际上是对因子载荷矩阵进行旋转，可以简化因子载荷阵的结构，使载荷矩阵中每列或每行的元素平方值向0和1两极分化，通过因子旋转（实际上是做坐标旋转）使每个原始变量在尽可能少的因子之间有密切关系，这样因子解的实际意义更容易解释。只有少数几个变量在某个公共因子上有较高载荷而其他变量在其上载荷较小或是趋于零时，对该公共因子的解释最为简单。

主成分分析，是现将原始数据标准化；建立变量之间的相关系数矩阵；求R的特征值和特征向量；写出主成分并进行分析。spss的操作：分析-回归分析-线性。将变量选入因变量，将其他几个考察因素选入自变量。进行多重回归分析及共线性诊断。之后金牛星主成分分析确定所需主成分操作：分析-降维-因子分析，打开主成分分析，将变量选入列表框。

主成分看方差贡献率就可以，各个指标要二次运算吧。我也正在找，同问。

主成分分析（ Principal components analysis），简称PCA，是最主要的数据降维方法之一。本文从PCA的思想开始，一步一步推导PCA。 对于 , 。我们希望 从 维降到 维，同时希望信息损失最少。比如，从 维降到 ： 我们既可以降维到第一主成分轴，也可以降维到第二主成分轴。那么如何找到这这些主成分轴并且选择最优成分轴呢？ 直观上，第一主成分轴 优于 第二主成分轴，即具有最大可分性。 下面解决一些基本概念。 欲获得原始数据新的表示空间，最简单的方法是对原始数据进行线性变换（基变换）： 其中 是原始样本， 是基向量， 是新表达。 数学表达： 其中 是行向量，表示第 个基， 是一个列向量，表示第 个原始数据记录. 当 时即 基的维度 < 数据维度时，可达到降维的目的。即： 以直角坐标系下的点(3,2)为例，欲将点(3,2)变换为新基上的坐标，就是用(3,2)与第一个基做内积运算，作为第一个新的坐标分量，然后用(3,2)与第二个基做内积运算，作为第二个新坐标的分量。 可以稍微推广一下，如果我们有m个二维向量，只要将二维向量按列排成一个两行m列矩阵，然后用“基矩阵”乘以这个矩阵，就得到了所有这些向量在新基下的值。例如(1,1)，(2,2)，(3,3)，想变换到刚才那组基上，则可以这样表示： 回顾一下，我们的目的是希望在降维过程中损失最少，换言之，我们希望投影后的数据尽可能分散开。这种分散程度可以用方差来表达， 方差 越大，数据越分散。 随机变量 表达了 的取值与其数学期望之间的偏离程度。若 较小，意味着 的取值主要集中在期望 也就是 的附近，反之，若 较大，意味着 的取值比较分散。 为了避免过于抽象，我们以一个具体的例子展开。假设我们5个样本数据，分别是 ，将它们表示成矩阵形式： 为了后续处理方便，我们首先将每个字段内所有值都减去字段均值，其结果是将每个字段都变为均值为0. 我们看上面的数据，设第一个特征为 ，第二个特征为 , 此时某一个样本可以写作： 且特征 的均值为2, 特征 的均值为3，所以变换后： 协方差 （Covariance）在 概率论 和 统计学 中用于衡量两个变量的总体 误差 。 比如对于二维随机变量 ，特征 除了自身的数学期望和方差，还需要讨论 之间互相关系的数学特征。 当 时，变量 完全独立，这也是我们希望达到的优化目标。 方差 是协方差的一种特殊情况，即当两个变量是相同的情况: 对于 二维 随机变量 , 对于 n维 随机变量 , 可见，协方差矩阵是 行 列的对称矩阵，主对角线上是方差，而协对角线上是协方差。 依然我们以一个具体的例子展开，还是这5个样本数据， , ，将它们去中心化后表示成矩阵形式： 那如果有 个样本的话， 对 做一些变换，用 乘以 的转置，并乘上系数1/m： 这不正是协方差矩阵嘛！ 现在我们可以说： 回顾一下： 设 的协方差矩阵为 ， 的协方差矩阵为 ，且 。 我们要找的 不是别的，而是能让原始协方差矩阵对角化的 。 现在所有焦点都聚焦在了 协方差矩阵对角化 问题上。 由上文知道，协方差矩阵 是一个是对称矩阵，在线性代数上，实对称矩阵有一系列非常好的性质： 1）实对称矩阵不同特征值对应的特征向量必然正交。 2）设特征向量 重数为 ，则必然存在 个线性无关的特征向量对应于 ，因此可以将这 个特征向量单位正交化。 由上面两条可知，一个 行 列的实对称矩阵一定可以找到 个单位正交特征向量，设这 个特征向量为 ，我们将其按列组成矩阵： 则对协方差矩阵 有如下结论： 其中 为对角矩阵，其对角元素为各特征向量对应的特征值（可能有重复）。 结合上面的公式： 其中， 为对角矩阵，我们可以得到： 是协方差矩阵 的特征向量单位化后按行排列出的矩阵，其中每一行都是 的一个特征向量。如果设 按照 中特征值的从大到小，将特征向量从上到下排列，则用 的前 行组成的矩阵乘以原始数据矩阵 ，就得到了我们需要的降维后的数据矩阵 。 总结一下PCA的算法步骤： 设有 条 维数据。 1）将原始数据按列组成 行 列矩阵X 2）将 的每一行（代表一个特征）进行零均值化，即减去这一行的均值 3）求出协方差矩阵 4）求出协方差矩阵 的特征值及对应的特征向量 5）将特征向量按对应特征值大小从上到下按行排列成矩阵，取前 行组成矩阵 6） 即为降维到 维后的数据 这里以上文提到的： ，将它们表示成矩阵形式： 我们用PCA方法将这组二维数据其降到一维。 为了后续处理方便，我们首先将每个特征内所有值都减去字段均值，其结果是将每个字段都变为均值为0. 因为这个矩阵的每行已经是零均值，这里我们直接求协方差矩阵： 对于矩阵 : 和 分别是特征值和特征向量， ，则： 为了使这个方程式有非零解，矩阵 的行列式必须是 0 ： 即： 则： 分解得： 找到2个特征值， , , when : 即： 则： 和 可以取任意值，我们取归一化的 和 ，即： , 此时 和 when : 即： 则： 和 可以取任意值，我们取归一化的 和 ，即： 此时 和 所以： 可以验证协方差矩阵C的对角化： 最后我们用 的第一行乘以数据矩阵，就得到了降维后的表示： 降维投影结果如下图：

主成分分析只提取一个主成分是不可以的。应保留多少个主成分要视具体情况，很难一概而论，最终还得依赖于主观判断。当取一个和二个主成分都可行时，取一个的优点是可以对各样品进行综合排序（如果这种排序是有实际意义的）。如果只提取了一个主成分，可能是数据存在问题，也有可能是这些变量之间本身就存在很强的相关性，所以主成分分析只能提取一个主成分。扩展资料：主成分分析，是考察多个变量间相关性一种多元统计方法，研究如何通过少数几个主成分来揭示多个变量间的内部结构，即从原始变量中导出少数几个主成分，使它们尽可能多地保留原始变量的信息，且彼此间互不相关.通常数学上的处理就是将原来P个指标作线性组合，作为新的综合指标。最经典的做法就是用F1（选取的第一个线性组合，即第一个综合指标）的方差来表达，即Var(F1)越大，表示F1包含的信息越多。因此在所有的线性组合中选取的F1应该是方差最大的，故称F1为第一主成分。如果第一主成分不足以代表原来P个指标的信息，再考虑选取F2即选第二个线性组合，为了有效地反映原来信息，F1已有的信息就不需要再出现在F2中，用数学语言表达就是要求Cov(F1, F2)=0，则称F2为第二主成分，依此类推可以构造出第三、第四，……，第P个主成分。

主成分是标准化后的特征向量和原指标的线性组合，例如第p主成分：Fp=a1iZX1+a2iZX2+……+apiZXp其中a1i, a2i, ……,api(i=1,……,m)为X的协方差阵Σ的特征值所对应的特征向量，ZX1, ZX2, ……, ZXp是原始变量经过标准化处理的值，因为在实际应用中，往往存在指标的量纲不同，所以在计算之前须先消除量纲的影响，而将原始数据标准化

spss如何做主成分分析 主成分分析的主要原理是寻找一个适当的线性变换： •将彼此相关的变量转变为彼此独立的新变量； •方差较大的几个新变量就能综合反应原多个变量所包含的主要信息； •新变量各自带有独特的专业含义。 住成分分析的作用是： •减少指标变量的个数 •解决多重相关性问题 步骤阅读 工具/原料 spss20.0 方法/步骤 >01 先在spss中准备好要处理的数据，然后在菜单栏上执行：analyse--dimension reduction--factor analyse。打开因素分析对话框 >02 我们看到下图就是因素分析的对话框，将要分析的变量都放入variables窗口中 >03 点击descriptives按钮，进入次级对话框，这个对话框可以输出我们想要看到的描述统计量 >04 因为做主成分分析需要我们看一下各个变量之间的相关，对变量间的关系有一个了解，所以需要输出相关，勾选coefficience，点击continue，返回主对话框 >05 回到主对话框，点击ok，开始输出数据处理结果 >06 你看到的这第一个表格就是相关矩阵，现实的是各个变量之间的相关系数，通过相关系数，你可以看到各个变量之间的相关，进而了解各个变量之间的关系 >07 第二个表格显示的主成分分析的过程，我们看到eigenvalues下面的total栏，他的意思就是特征根，他的意义是主成分影响力度的指标，一般以1为标准，如果特征根小于1，说明这个主因素的影响力度还不如一个基本的变量。所以我们只提取特征根大于1的主成分。如图所示，前三个主成分就是大于1的，所以我们只能说有三个主成分。另外，我们看到第一个主成分方差占所有主成分方差的46.9%，第二个占27.5%，第三个占15.0%。这三个累计达到了89.5%。

如何用ＳＰＳＳ软件进行主成分分析郭显光摘要文章指出《统计分析软件ＳＰＳＳ／ＰＣ＋》中主成分分析举例中的一处错误，比较了主成分分析和因子分析的异同，进而指出用ＳＰＳＳ软件不能直接进行主成分分析。作者根据主成分分析和因子分析的关系，提出一种先用ＳＰＳＳ的ＰＣ法得出因子载荷阵，然后求出特征向量，建立主成分模型的主成分分析计算方法。关键词主成分分析因子分析因子载荷阵特征向量一、关于主成分分析举例中的一处错误在ＳＰＳＳ的高级统计分析命令中，有因子分析的功能。例如，用ＦＡＣＴＯＲ命令可以进行因子分析，用ＥＸＴＲＡＣＴＩＯＮ子命令可以输出因子模型阵、变量被解释的因子方差、所提取的因子特征根和每个特征根代表的变量Ｘ总方差的百分比。在使用该命令时，可以指定提取因子的方法，包括ＰＣ（主成分法）、ＰＡＦ（主轴因子法）等等，也可以指定因子旋转方式。在童忠勇教授主编的《统计分析软件ＳＰＳＳ／ＰＣ＋》（陕西人民教育出版社，１９９０年）一书中，第２１３－２１５页给出了一个例子：某地区对下属１２个县人口调查，其中５个经济变量为：Ｘ１（住户数）、Ｘ２（学校数）、Ｘ３（就业人数）、Ｘ４（年收......(本文共计5页)

例子：我们简单粗暴直接上例子，我们带着问题看例子，一步一步来。（例子来自《应用多元统计》，王学民老师著）在制定服装标准的过程中，对128名成年男子的身材进行了测量，每人测得的指标中含有这样六项：身高（x1）、坐高（x2） 、胸围（x3） 、手臂长（x4） 、肋围（x5）和腰围（x6） 。第一步，对原始数据标准化（减去对应变量的均值，再除以其方差），并计算相关矩阵（或协方差矩阵）第二步，计算相关矩阵的特征值及特征向量。特征值从大到小排列，特征向量和特征值对应从大到小排列。前三个主成分分别为：第三步，根据累计贡献率(一般要求累积贡献率达到85%)可考虑取前面两个或三个主成分。第四步，解释主成分。观察系数发现第一主成分系数多为正数，且变量都与身材大小有关系，称第一主成分为（身材）大小成分；类似分析，称第二主成分为形状成分（或胖瘦成分），称第三主成分为臂长成分。可考虑取前两个主成分。由于λ6非常小，所以存在共线性关系：第五步，计算主成分得分。即对每一个样本数据标准化后带入第三步的主成分公式中，计算第一主成分得分，第二主成分得分。第六步，将主成分可画图聚类，将主成分得分看成新的因变量可线性回归。扩展资料设有m条n维数据，m个样本，对原始数据标准化（减去对应变量的均值，再除以其方差），每个样本对应p个变量，x＝（x∗1，x∗2，⋯，x∗n）′x＝（x1∗，x2∗，⋯，xn∗）′。1、求出自变量的协方差矩阵（或相关系数矩阵）；2、求出协方差矩阵（或性关系数矩阵）的特征值及对应的特征向量；3、将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵aa（为k＊p维）；4、Y＝aT∗XaT∗X（Y为k＊1维）即为降维到k维后的数据，此步算出每个样本的主成分得分；5、可将每个样本的主成分得分画散点图及聚类，或将主成分得分看成新的因变量，对其做线性回归等。

主成分分析的基本思想是设法将原来众多具有一定相关性（比如P个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标。主成分分析（Principal Component Analysis，PCA）， 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。在实际课题中，为了全面分析问题，往往提出很多与此有关的变量（或因素），因为每个变量都在不同程度上反映这个课题的某些信息。主成分分析首先是由K.皮尔森（Karl Pearson）对非随机变量引入的，尔后H.霍特林将此方法推广到随机向量的情形。信息的大小通常用离差平方和或方差来衡量。历史：1846年，Bracais提出的旋转多元正态椭球到“主坐标”上，使得新变量之间相互独立。皮尔逊（Pearson）（1901）、霍特林（Hotelling）（1933）都对主成分的发展做出了贡献，霍特林的推导模式被视为主成分模型的成熟标志。主成分分析被广泛应用于区域经济发展评价，服装标准制定，满意度测评，模式识别，图像压缩等许多领域。

主成分分析法原理如下：主成分分析， 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。在实际课题中，为了全面分析问题，往往提出很多与此有关的变量（或因素），因为每个变量都在不同程度上反映这个课题的某些信息。主成分分析首先是由K.皮尔森（Karl Pearson）对非随机变量引入的，尔后H.霍特林将此方法推广到随机向量的情形。信息的大小通常用离差平方和或方差来衡量。在用统计分析方法研究多变量的课题时，变量个数太多就会增加课题的复杂性。人们自然希望变量个数较少而得到的信息较多。在很多情形，变量之间是有一定的相关关系的，当两个变量之间有一定相关关系时，可以解释为这两个变量反映此课题的信息有一定的重叠。主成分分析是对于原先提出的所有变量，将重复的变量（关系紧密的变量）删去多余，建立尽可能少的新变量，使得这些新变量是两两不相关的，而且这些新变量在反映课题的信息方面尽可能保持原有的信息。设法将原来变量重新组合成一组新的互相无关的几个综合变量，同时根据实际需要从中可以取出几个较少的综合变量尽可能多地反映原来变量的信息的统计方法叫做主成分分析或称主分量分析，也是数学上用来降维的一种方法。

主成分分析实例：一个 平均值 为(1, 3)、标准差在(0.878, 0.478)方向上为3、在其正交方向为1的 高斯分布 。这里以黑色显示的两个向量是这个分布的 协方差矩阵 的 特征向量 ，其长度按对应的 特征值 之平方根为比例，并且移动到以原分布的平均值为原点。 在多元统计分析中， 主成分分析 （英语： Principal components analysis ， PCA ）是一种分析、简化数据集的技术。主成分分析经常用于减少数据集的 维数 ，同时保持数据集中的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。但是，这也不是一定的，要视具体应用而定。由于主成分分析依赖所给数据，所以数据的准确性对分析结果影响很大。 主成分分析由 卡尔·皮尔逊 于1901年发明，用于分析数据及建立数理模型。其方法主要是通过对 协方差矩阵 进行特征分解，以得出数据的主成分（即 特征向量 ）与它们的权值（即 特征值 [3] ）。PCA是最简单的以特征量分析多元统计分布的方法。其结果可以理解为对原数据中的 方差 做出解释：哪一个方向上的数据值对方差的影响最大？换而言之，PCA提供了一种降低数据 维度 的有效办法；如果分析者在原数据中除掉最小的 特征值 所对应的成分，那么所得的低维度数据必定是最优化的（也即，这样降低维度必定是失去讯息最少的方法）。主成分分析在分析复杂数据时尤为有用，比如 人脸识别 。 PCA是最简单的以特征量分析多元统计分布的方法。通常情况下，这种运算可以被看作是揭露数据的内部结构，从而更好的解释数据的变量的方法。如果一个多元数据集能够在一个高维数据空间坐标系中被显现出来，那么PCA就能够提供一幅比较低维度的图像，这幅图像即为在讯息最多的点上原对象的一个‘投影"。这样就可以利用少量的主成分使得数据的维度降低了。 PCA跟因子分析密切相关，并且已经有很多混合这两种分析的统计包。而真实要素分析则是假定底层结构，求得微小差异矩阵的特征向量。 PCA，Principle Component Analysis，即主成分分析法，是特征降维的最常用手段。顾名思义，PCA 能从冗余特征中提取主要成分，在不太损失模型质量的情况下，提升了模型训练速度。 如上图所示，我们将 样本到红色向量的距离 称作是投影误差（Projection Error）。以二维投影到一维为例，PCA 就是要找寻一条直线，使得各个特征的投影误差足够小，这样才能尽可能的保留原特征具有的信息。 因为PCA仅保留了特征的主成分，所以PCA是一种有损的压缩方式. 从 PCA 的执行流程中，我们知道，需要为 PCA 指定目的维度 k 。如果降维不多，则性能提升不大；如果目标维度太小，则又丢失了许多信息。 由于 PCA 减小了特征维度，因而也有可能带来过拟合的问题。PCA 不是必须的，在机器学习中，一定谨记不要提前优化，只有当算法运行效率不尽如如人意时，再考虑使用 PCA 或者其他特征降维手段来提升训练速度。 降低特征维度不只能加速模型的训练速度，还能帮我们在低维空间分析数据，例如，一个在三维空间完成的聚类问题，我们可以通过 PCA 将特征降低到二维平面进行可视化分析。 根据 13 个特征对葡萄酒分类（推销给不同品味的人），利用 PCA ，可以将数据从 13 维降到 2 维进行可视化。 array([[1.369e+01, 3.260e+00, 2.540e+00, 2.000e+01, 1.070e+02, 1.830e+00, 5.600e-01, 5.000e-01, 8.000e-01, 5.880e+00, 9.600e-01, 1.820e+00, 6.800e+02], [1.269e+01, 1.530e+00, 2.260e+00, 2.070e+01, 8.000e+01, 1.380e+00, 1.460e+00, 5.800e-01, 1.620e+00, 3.050e+00, 9.600e-01, 2.060e+00, 4.950e+02], [1.162e+01, 1.990e+00, 2.280e+00, 1.800e+01, 9.800e+01, 3.020e+00, 2.260e+00, 1.700e-01, 1.350e+00, 3.250e+00, 1.160e+00, 2.960e+00, 3.450e+02]]) array([[ 0.87668336, 0.79842885, 0.64412971, 0.12974277, 0.48853231, -0.70326216, -1.42846826, 1.0724566 , -1.36820277, 0.35193216, 0.0290166 , -1.06412236, -0.2059076 ], [-0.36659076, -0.7581304 , -0.39779858, 0.33380024, -1.41302392, -1.44153145, -0.5029981 , 1.70109989, 0.02366802, -0.84114577, 0.0290166 , -0.73083231, -0.81704676], [-1.69689407, -0.34424759, -0.32337513, -0.45327855, -0.14531976, 1.24904997, 0.31964204, -1.52069698, -0.4346309 , -0.75682931, 0.90197362, 0.51900537, -1.31256499]]) array([0.36884109, 0.19318394, 0.10752862, 0.07421996, 0.06245904, 0.04909 , 0.04117287, 0.02495984, 0.02308855, 0.01864124, 0.01731766, 0.01252785, 0.00696933]) array([[-2.17884511, -1.07218467], [-1.80819239, 1.57822344], [ 1.09829474, 2.22124345]]) LogisticRegression(C=1.0, class_weight=None, dual=False, fit_intercept=True, intercept_scaling=1, max_iter=100, multi_class="ovr", n_jobs=1, penalty="l2", random_state=0, solver="liblinear", tol=0.0001, verbose=0, warm_start=False) array([1, 3, 2, 1, 2]) array([[14, 0, 0], [ 1, 15, 0], [ 0, 0, 6]]) 准确率(精度)为 : 0.9722222222222222 参考： https://zh.wikipedia.org/wiki/主成分分析 《 斯坦福机器学习》 《机器学习 A-Z》

主成分分析的基本思想介绍如下：主成分分析的原理是设法将原来变量重新组合成一组新的相互无关的几个综合变量，同时根据实际需要从中可以取出几个较少的总和变量尽可能多地反映原来变量的信息的统计方法叫做主成分分析或称主分量分析，也是数学上处理降维的一种方法。主成分分析的主要作用1．主成分分析能降低所研究的数据空间的维数。2．有时可通过因子负荷aij的结论，弄清X变量间的某些关系。3．多维数据的一种图形表示方法。4．由主成分分析法构造回归模型。即把各主成分作为新自变量代替原来自变量x做回归分析。5．用主成分分析筛选回归变量。最经典的做法就是用F1（选取的第一个线性组合，即第一个综合指标）的方差来表达，即Va（rF1）越大，表示F1包含的信息越多。因此在所有的线性组合中选取的F1应该是方差最大的，故称F1为第一主成分。拓展：主成分分析是指通过将一组可能存在相关性的变量转换城一组线性不相关的变量，转换后的这组变量叫主成分。主成分分析步骤：1、对原始数据标准化，2、计算相关系数，3、计算特征，4、确定主成分，5、合成主成分。

主成分分析法适用于人口统计学、数量地理学、分子动力学模拟、数学建模、数理分析等问题，是一种常用的多变量分析方法。主成分分析作为基础的数学分析方法，其实际应用十分广泛。主成分分析，是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。在实际课题中，为了全面分析问题，往往提出很多与此有关的变量或因素，因为每个变量都在不同程度上反映这个课题的某些信息。主成分分析法原理在用统计分析方法研究多变量的课题时，变量个数太多就会增加课题的复杂性。人们自然希望变量个数较少而得到的信息较多。在很多情形，变量之间是有一定的相关关系的，当两个变量之间有一定相关关系时，可以解释为这两个变量反映此课题的信息有一定的重叠。主成分分析是对于原先提出的所有变量，将重复的变量关系紧密的变量删去多余，建立尽可能少的新变量，使得这些新变量是两两不相关的，而且这些新变量在反映课题的信息方面尽可能保持原有的信息。设法将原来变量重新组合成一组新的互相无关的几个综合变量，同时根据实际需要从中可以取出几个较少的综合变量尽可能多地反映原来变量的信息的统计方法叫做主成分分析或称主分量分析，也是数学上用来降维的一种方法。

主成分分析法： 英文全名 Principal Component Analysis 简称 PCA ，由名字就可以看出来，这是一个挑重点分析的方法。主成分分析 法是通过 恰当 的数学变换 ，使新变量—— 主成分成为原变量 的线性 组合 ，并选 取少数 几个在变差总信息量中 比例较 大的主成分来分析 事物 的一种方法 。 主成分在变差信息量中的比例越大 ， 它在综合评价 中的作用就越大。思想： 整体思想就是化繁为简，抓住问题关键，也就是降维思想。当然，既然是抓住关键，那么自然就是以牺牲精度为代价。解决问题： 因为每个变量都在不同程度上反映了所研究问题的某些信息，并且指标之间彼此有一定的相关性，因而所得的统计数据反映的信息在一定程度上有重叠。 在用统计方法研究多变量问题时，变量太多会增加计算量和分析问题的复杂性。人们希望在进行定量分析过程中，涉及的变量较少，得到的信息量较多。为了尽可能的减少冗余和噪音，一般情况可以从相关变量中选择一个，或者把几个相关变量综合为一个变量作为代表，用少数变量来代表所有变量。原理： 因为评估所涉及的众多变量之间既然有一定的相关性，就必然存在着起支配作用的因素。根据这一点，通过对原始变量和相关矩阵的内部结构的关系研究 ，找出影响目标变量某一要素的几个综合指标，使综合指标为原来变量的线性拟合。 这样，综合指标不仅保留了原始变量的主要信息，且彼此间不相关，又比原始变量具有某些更优越的性质，使得我们在研究复杂目标变量评估问题时，容易抓住主要矛盾。形象理解比如，某学籍数据，有两列 M 和 F ，其中M 列的取值是如果学生为男性，则取值为 1 如果为女性，则取值为 0 。F 列，如果为男性则取值为 0 否则取值为一。 由这两种关系可以知道，这两列数据是强相关的。只要保留一列，就能够完全还原另外一列。  当然，不要局限于数据删除，还有数据转换，删除可以理解为在此方法中的一种方式。当然，上述情况在真实数据中是不可能出现的。这里只是借此介绍一下这种思维。真实情况中， 我们需要考虑删除哪一列信息可以使得损失最小？或者是通过变换数据就能使得损失信息更小？又如何度量信息的丢失量？原始数据的处理降维有哪些步骤？坐标示例：我们来看下面这张图，这是一个椭圆的点阵。椭圆上面有一个长轴和一个短轴。现在我们要表示点阵的主要变化趋势，就可以以长短轴（或者平行于长短轴）构建新的坐标系。在极端的情况下，短轴变成了一个点，那么长轴就能代表这个点阵的趋势和特点。这样，一个二维数据，就变成了一维。基础知识储备内积与投影：内积运算，将两个向量映射为一个实数。其几何意义就是 向量 A ，在向量 B 的投影长度。（下图是以二维向量为例，多维空间依然是如此。）上式中，B 为单位向基 ：同样以上图 B为例，B向量为（3，2）其表示的其实为在 X 轴的投影值为3 ，在Y轴的投影值 为 2 。这其实加入了一个隐含信息，就是本坐标轴 分别是以 X Y轴为方向的单位向量。这里的 X Y 轴其实就是我们所提到的 基。只不过一般默认为 （1，0）和（0，1）所以呢，要描述一组向量，首先是要确定一组基。然后求这个向量在这组基中的投影即可。对基的要求是线性无关，并不一定非要正交。但是因为正交基有较好的性质，所以一般情况我们都是用正交基。基变换上面我们了解了基的原理。如果同样把（3，2）放到新基里面描述，那就是把向量和新基相乘即可。如果是在描述中，有多个基呢？那就是与基阵相乘。如何实现降维上面的思路，我们都清楚了。那么我们如何通过基变换来降维呢？这里我们来举个例子。假设我们有一个矩阵如下。为了处理方面，我们现在把每个字段都减去字段平均值，那么就变成了如下所示表示在坐标上如下图那么，我们现在想用一维坐标来表示，而且要求尽可能的保留原来的信息，我们需要如何选择方向（基）呢？（二维降一维）思路就是，希望投影后的值尽可能的分散，避免重合。协方差：在概率论与统计学中，协方差用于衡量两个随机变量的联合变化程度。而方差则是协方差的一种特殊情况，即变量与自身的协方差。期望：在概率论和统计学中，一个离散性随机变量的期望值（或数学期望，亦简称期望，物理学中称为期待值）是试验中每次可能的结果乘以其结果概率的总和。比如骰子的期望值为 1* 1/6 +2*1/6 + …+ 6*1/6 = 3.5协方差公式为：其中，E(X) = u E(Y) = v协方差表示的是两个变量的总体的误差 ，这与只表示一个变量误差的方差不同。 如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。 如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。如果X 与Y 是统计独立的，那么二者之间的协方差就是0流程和步骤第一步：标准化把输入数据集变量的范围标准化，以使它们中的每一个均可以大致成比例的分析。简单说，就是要把存在较大差异的数据转变为可比较的数据。比如把 0-100 的变量转化为 0-1 的变量。这一步一般可以通过减去平均值，再除以每个变量值的标准差来完成。标准差公式如下那么常用的标准化指标变量公式可为第二步：协方差矩阵计算这一步的目的是：了解输入数据集的变量是如何相对于平均值变化的。或者换句话说，是为了查看它们之间是否存在任何关系。因为有时候，变量间高度相关是因为它们包含大量的信息。因此，为了识别这些相关性，我们进行协方差矩阵计算。协方差矩阵是p×p对称矩阵（其中p是维数），其所有可能的初始变量与相关联的协方差作为条目。好了，现在我们知道协方差矩阵只不过是一个表，汇总了所有可能配对的变量间相关性。下面就是计算协方差矩阵的特征向量和特征值，以筛选主要成分。第三步：计算协方差矩阵的特征向量和特征值，用以识别主成分特征向量和特征值都是线性代数概念，需要从协方差矩阵计算得出，以便确定数据的主成分。开始解释这些概念之前，让我们首先理解主成分的含义主成分是由初始变量的线性组合或混合构成的新变量。该组合中新变量（如主成分）之间彼此不相关，且大部分初始变量都被压缩进首个成分中。所以，10维数据会显示10个主成分，但是PCA试图在第一个成分中得到尽可能多的信息，然后在第二个成分中得到尽可能多的剩余信息，以此类推。例如，假设你有一个10维数据，你最终将得到的内容如下面的屏幕图所示，其中第一个主成分包含原始数据集的大部分信息，而最后一个主成分只包含其中的很少部分。因此，以这种方式组织信息，可以在不丢失太多信息的情况下减少维度，而这需要丢弃携带较少信息的成分。在这里，方差和信息间的关系是，线所承载的方差越大，数据点沿着它的分散也越大，沿着线的散点越多，它所携带的信息也越多。简单地说，只要把主成分看作是提供最佳角度来观察和评估数据的新轴，这样观测结果之间的差异就会更明显。协方差矩阵的特征向量实际上是方差最多的轴的方向（或最多的信息），我们称之为主成分。通过特征值的顺序对特征向量进行排序，从最高到最低，你就得到了按重要性排序的主成分。第四步：特征向量正如我们在上一步中所看到的，计算特征向量并按其特征值依降序排列，使我们能够按重要性顺序找到主成分。在这个步骤中我们要做的，是选择保留所有成分还是丢弃那些重要性较低的成分（低特征值），并与其他成分形成一个向量矩阵，我们称之为特征向量。因此，特征向量只是一个矩阵，其中包含我们决定保留的成分的特征向量作为列。这是降维的第一步，因为如果我们选择只保留n个特征向量（分量）中的p个，则最终数据集将只有p维。第五步：沿主成分轴重新绘制数据在前面的步骤中，除了标准化之外，你不需要更改任何数据，只需选择主成分，形成特征向量，但输入数据集时要始终与原始轴统一（即初始变量）。这一步，也是最后一步，目标是使用协方差矩阵的特征向量去形成新特征向量，将数据从原始轴重新定位到由主成分轴中（因此称为主成分分析）。这可以通过将原始数据集的转置乘以特征向量的转置来完成。优缺点优点：化繁为简，降低了计算量。缺点：一定程度上损失了精度。并且只能处理“线性问题”，这是一种线性降维技术、总结假设我们拿到了一份数据集，有m个样本，每个样本由n个特征（变量）来描述，那么我们可以按照以下的步骤进行降维：1、将数据集中的每个样本作为列向量，按列排列构成一个n行m列的矩阵；2、将矩阵的每一个行向量（每个变量）都减去该行向量的均值，从而使得新行向量的均值为0，得到新的数据集矩阵X；3、求X的协方差矩阵，并求出协方差矩阵的特征值λ和单位特征向量e；4、按照特征值从大到小的顺序，将单位特征向量排列成矩阵，得到转换矩阵P，并按PX计算出主成分矩阵；5、用特征值计算方差贡献率和方差累计贡献率，取方差累计贡献率超过85%的前k个主成分，或者想降至特定的k维，直接取前k个主成分。

1、主成分分析（Principal Component Analysis，PCA）， 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。 2、在实际课题中，为了全面分析问题，往往提出很多与此有关的变量（或因素），因为每个变量都在不同程度上反映这个课题的某些信息。 3、主成分分析首先是由K.皮尔森（Karl Pearson）对非随机变量引入的，尔后H.霍特林将此方法推广到随机向量的情形。信息的大小通常用离差平方和或方差来衡量。

主成分分析，是考察多个变量间相关性一种多元统计方法，研究如何通过少数几个主成分来揭示多个变量间的内部结构，即从原始变量中导出少数几个主成分，使它们尽可能多地保留原始变量的信息，且彼此间互不相关.通常数学上的处理就是将原来P个指标作 线性组合 ，作为新的综合指标。. 最经典的做法就是用F1（选取的第一个线性组合，即第一个综合指标）的 方差 来表达，即Var (F1)越大，表示F1包含的信息越多。. 因此在所有的线性组合中选取的F1应该是方差最大的，故称F1为第一主成分。.主成分分析（Principal Component Analysis，PCA）， 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。在实际课题中，为了全面分析问题，往往提出很多与此有关的变量（或因素），因为每个变量都在不同程度上反映这个课题的某些信息。主成分分析首先是由K.皮尔森（Karl Pearson）对非随机变量引入的，尔后H.霍特林将此方法推广到随机向量的情形。信息的大小通常用离差平方和或方差来衡量。

spss的主成分分析主要应用在因子分析里,目的是将原来很多的因素,通过他们内在的相关分析,整合成新的一个或多个相对独立的综合因素,来代表原来散乱的因素.例如我们测量客户满意度,设计了10个题目,那数据收集完后,就可以通过因子分析,来看看这10个题目是否能综合成几个因素.通过spss的主成分分析,就可以得出相应结果.结果可能是其中5个题目的相关显著,可以通过一个因素来归纳这5个因素,另外3个、2个也可以分别组成一个,而且主成分对应的特征值大于1,这样就最后就可以通过3个综合因素来研究和分析客户满意度了

收藏立即下载为了提升浏览体验，原视图版网页已升级为如下版式主成分分析法的步骤和原理主成分分析法的步骤和原理.pdf438.91K, 15页, 13478次阅读sshiiwengy6 分享于2016-11-16 09:09立即下载 举报（一）主成分分析法的基本思想主成分分析（Principal Component Analysis ）是利用降维的思想，将多个变 量转化为少数几个综合变量（即主成分），其中每个主成分都是原始变量的线性 组合，各主成分之间互不相关，从而这些主成分能够反映始变量的绝大部分信 息，且所含的信息互不重叠。[2]采用这种方法可以克服单一的财务指标不能真实反映公司的财务情况的缺 点，引进多方面的财务指标，但又将复杂因素归结为几个主成分，使得复杂问 题得以简化，同时得到更为科学、准确的财务信息。（二）主成分分析法代数模型假设用p个变量来描述研究对象，分别用 X1， X2…Xp来表示，这p个变量 构成的p维随机向量为X=(X1， X2…Xp)t。设随机向量X 的均值为μ，协方差 矩阵为Σ。假设 X 是以 n 个标量随机变量组成的列向量，并且μk 是其第k个元素的 期望值，即，μk= E(xk)，协方差矩阵然后被定义为：Σ=E{(X-E[X])(X-E [X])}=(如图对 X 进行线性变化，考虑原始变量的线性组合：Zp=μ p1X1+μ p2X2+…μ ppXp主成分是不相关的线性组合Z1， Z2……Zp，并且Z1是 X1， X2…Xp的线性 组合中方差最大者， Z2是与 Z1不相关的线性组合中方差最大者，…， Zp是与Z1， Z2 ……Zp-1 都不相关的线性组合中方差最大者。（三）主成分分析法基本步骤第一步：设估计样本数为n，选取的财务指标数为p，则由估计样本的原始 数据可得矩阵 X=(xij)m×p，其中 xij表示第 i 家上市公司的第 j 项财务指标数据。第二步：为了消除各项财务指标之间在量纲化和数量级上的差别，对指标 数据进行标准化，得到标准化矩阵（系统自动生成）。第三步：根据标准化数据矩阵建立协方差矩阵 R，是反映标准化后的数据 之间相关关系密切程度的统计指标，值越大，说明有必要对数据进行主成分分 析。其中， Rij （i， j=1， 2，…， p）为原始变量Xi与Xj的相关系数。 R为实对 称矩阵（即 Rij=Rji），只需计算其上三角元素或下三角元素即可，其计算公式为：1/15页n第四步：根据协方差矩阵 R 求出特征值、主成分贡献率和累计方差贡献率， 确定主成分个数。解特征方程ER  0，求出特征值λi（i=1， 2，…， p）。因为R是正定矩阵，所以其特征值λi都为正数，将其按 大小顺序排列，即λ1≥λ2≥…≥λi≥0。特征值是各主成分的方差，它的大1 且累计贡献率达80%-95%的特征值λ1，λ2，…，λm所对应的1， 2，…， m （m≤p）， 其中整数 m 即为主成分的个数。第五步：建立初始因子载荷矩阵，解释主成分。因子载荷量是主成分Zi与 原始指标Xi的相关系数R （Zi， Xi），揭示了主成分与各财务比率之间的相关程 度，利用它可较好地解释主成分的经济意义。第六步：计算企业财务综合评分函数Fm，计算出上市公司的综合值，并进 行降序排列：Fm=W1Z1 + W2Z2+…+ WiZi

你想知道什么》

spss主成分分析法详细步骤：　　1、打开SPSS软件，导入数据后，依次点击分析，降维，因子分析。如图1所示（图1）　　2、打开因子分析界面之后，把需要进行分析的变量全部选进变量对话框，然后点击右上角的描述。如图2所示（图2）　　3、勾选原始分析结果、KMO检验对话框，然后点击继续。如图3所示（图3）　　4、点击抽取，方法里选择主成分再点击碎石图。如图4所示（图4）　　5、点击旋转，再点击最大方差旋转。如图5所示（图5）　　6、点击得分，再点击，保存为变量及显示因子得分系数矩阵。如图6所示（图6）　　7、最后点确定就可以在输出截面看到主成分分析的结果了。如图7所示（图7）总结：以上就是spss主成分分析法详细步骤，大家是不是学会了呢？

　　主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。 　　在统计学中，主成分分析（principal components analysis,PCA）是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征.这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面.但是，这也不是一定的，要视具体应用而定.

主成分分析中,各主成分之间的关系是( )。A.  相互独立B.  低度相关C.  高度相关D.    完全相关答案：B.低度相关主成分分析 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。在实际课题中，为了全面分析问题，往往提出很多与此有关的变量（或因素），因为每个变量都在不同程度上反映这个课题的某些信息。主成分分析首先是由K.皮尔森（Karl Pearson）对非随机变量引入的，尔后H.霍特林将此方法推广到随机向量的情形。信息的大小通常用离差平方和或方差来衡量。在用统计分析方法研究多变量的课题时，变量个数太多就会增加课题的复杂性。人们自然希望变量个数较少而得到的信息较多。在很多情形，变量之间是有一定的相关关系的，当两个变量之间有一定相关关系时，可以解释为这两个变量反映此课题的信息有一定的重叠。主成分分析是对于原先提出的所有变量，将重复的变量（关系紧密的变量）删去多余，建立尽可能少的新变量，使得这些新变量是两两不相关的，而且这些新变量在反映课题的信息方面尽可能保持原有的信息

主成分分析最主要的用途在于“降维”。举个例子，你要做一项分析，选中了20个指标，你觉得都很重要，但是20个指标对于你的分析确实太过繁琐，这时候，你就可以采用主成分分析的方法进行降维。20个指标之间会有这样那样的相互关系，相互之间会有影响，通过主成分分析后，得到4个或者5个主成分指标。此时，这几个主成分指标既涵盖了你20个指标中的绝大部分信息，又让你的分析得到了简化（从20维降到4、5维），简化了分析过程，增加了结果精度。

1输入数据。2点Analyze 下拉菜单，选Data Reduction 下的Factor 。3打开Factor Analysis后,将数据变量逐个选中进入Variables 对话框中。4单击主对话框中的Descriptive按扭，打开Factor Analysis: Descriptives子对话框，在Statistics栏中选择Univariate Descriptives项要求输出个变量的均值与标准差，在Correlation Matrix 栏内选择Coefficients项，要求计算相关系数矩阵，单击Continue按钮返回Factor Analysis主对话框。5单击主对话框中的Extraction 按钮，打开如下图所示的Factor Analysis: Extraction 子对话框。在Method列表中选择默认因子抽取方法——Principal Components，在Analyze 栏中选择默认的Correlation Matrix 项要求从相关系数矩阵出发求解主成分，在Exact 栏中选择Number of Factors;6， 要求显示所有主成分的得分和所能解释的方差。单击Continue按钮返回Factor Analysis主对话框。6单击主对话框中的OK 按钮，输出结果。

主成分分析（Principal Component Analysis，PCA）， 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。在实际课题中，为了全面分析问题，往往提出很多与此有关的变量（或因素），因为每个变量都在不同程度上反映这个课题的某些信息。主成分分析首先是由K.皮尔森（Karl Pearson）对非随机变量引入的，尔后H.霍特林将此方法推广到随机向量的情形。信息的大小通常用离差平方和或方差来衡量。在用统计分析方法研究多变量的课题时，变量个数太多就会增加课题的复杂性。人们自然希望变量个数较少而得到的信息较多。在很多情形，变量之间是有一定的相关关系的，当两个变量之间有一定相关关系时，可以解释为这两个变量反映此课题的信息有一定的重叠。主成分分析是对于原先提出的所有变量，将重复的变量（关系紧密的变量）删去多余，建立尽可能少的新变量，使得这些新变量是两两不相关的，而且这些新变量在反映课题的信息方面尽可能保持原有的信息。设法将原来变量重新组合成一组新的互相无关的几个综合变量，同时根据实际需要从中可以取出几个较少的综合变量尽可能多地反映原来变量的信息的统计方法叫作主成分分析或称主分量分析，也是数学上用来降维的一种方法

　　主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。 　　在统计学中，主成分分析（principal components analysis,PCA）是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征.这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面.但是，这也不是一定的，要视具体应用而定.

主成分分析和因子分析的原理不同。主成分分析基本原理：利用降维（线性变换)的思想，在损失很少信息的前提下把多个指标转化为几个不相关的综合指标（主成分)，即每个主成分都是原始变量的线性组合，且各个主成分之间互不相关，使得主成分比原始变量具有某些更优越的性能（主成分必须保留原始变量90%以上的信息），从而达到简化系统结构，抓住问题实质的目的。因子分析基本原理：利用降维的思想，由研究原始变量相关矩阵内部的依赖关系出发，把一些具有错综复杂关系的变量表示成少数的公共因子和仅对某一个变量有作用的特殊因子线性组合而成。就是要从数据中提取对变量起解释作用的少数公共因子。因子分析是主成分的推广，相对于主成分分析，更倾向于描述原始变量之间的相关关系。主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标（即主成分），其中每个主成分都能够反映原始变量的大部分信息，且所含信息互不重复。这种方法在引进多方面变量的同时将复杂因素归结为几个主成分，使问题简单化，同时得到的结果更加科学有效的数据信息。在实际问题研究中，为了全面、系统地分析问题，我们必须考虑众多影响因素。这些涉及的因素一般称为指标，在多元统计分析中也称为变量。因为每个变量都在不同程度上反映了所研究问题的某些信息，并且指标之间彼此有一定的相关性，因而所得的统计数据反映的信息在一定程度上有重叠。主要方法有特征值分解，SVD，NMF等。