分析

主成分分析的基本步骤：1、对原始数据标准化2、计算相关系数3、计算特征4、确定主成分5、合成主成分。主成分分析是指通过将一组可能存在相关性的变量转换城一组线性不相关的变量，转换后的这组变量叫主成分。在实际课题中，为了全面分析问题，往往提出很多与此有关的变量(或因素)，因为每个变量都在不同程度上反映这个课题的某些信息。主成分分析首先是由K.皮尔森对非随机变量引入的，尔后H。霍特林将此方法推广到随机向量的情形。信息的大小通常用离差平方和或方差来衡量。

主成分分析实例：一个 平均值 为(1, 3)、标准差在(0.878, 0.478)方向上为3、在其正交方向为1的 高斯分布 。这里以黑色显示的两个向量是这个分布的 协方差矩阵 的 特征向量 ，其长度按对应的 特征值 之平方根为比例，并且移动到以原分布的平均值为原点。 在多元统计分析中， 主成分分析 （英语： Principal components analysis ， PCA ）是一种分析、简化数据集的技术。主成分分析经常用于减少数据集的 维数 ，同时保持数据集中的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。但是，这也不是一定的，要视具体应用而定。由于主成分分析依赖所给数据，所以数据的准确性对分析结果影响很大。 主成分分析由 卡尔·皮尔逊 于1901年发明，用于分析数据及建立数理模型。其方法主要是通过对 协方差矩阵 进行特征分解，以得出数据的主成分（即 特征向量 ）与它们的权值（即 特征值 [3] ）。PCA是最简单的以特征量分析多元统计分布的方法。其结果可以理解为对原数据中的 方差 做出解释：哪一个方向上的数据值对方差的影响最大？换而言之，PCA提供了一种降低数据 维度 的有效办法；如果分析者在原数据中除掉最小的 特征值 所对应的成分，那么所得的低维度数据必定是最优化的（也即，这样降低维度必定是失去讯息最少的方法）。主成分分析在分析复杂数据时尤为有用，比如 人脸识别 。 PCA是最简单的以特征量分析多元统计分布的方法。通常情况下，这种运算可以被看作是揭露数据的内部结构，从而更好的解释数据的变量的方法。如果一个多元数据集能够在一个高维数据空间坐标系中被显现出来，那么PCA就能够提供一幅比较低维度的图像，这幅图像即为在讯息最多的点上原对象的一个‘投影"。这样就可以利用少量的主成分使得数据的维度降低了。 PCA跟因子分析密切相关，并且已经有很多混合这两种分析的统计包。而真实要素分析则是假定底层结构，求得微小差异矩阵的特征向量。 PCA，Principle Component Analysis，即主成分分析法，是特征降维的最常用手段。顾名思义，PCA 能从冗余特征中提取主要成分，在不太损失模型质量的情况下，提升了模型训练速度。 如上图所示，我们将 样本到红色向量的距离 称作是投影误差（Projection Error）。以二维投影到一维为例，PCA 就是要找寻一条直线，使得各个特征的投影误差足够小，这样才能尽可能的保留原特征具有的信息。 因为PCA仅保留了特征的主成分，所以PCA是一种有损的压缩方式. 从 PCA 的执行流程中，我们知道，需要为 PCA 指定目的维度 k 。如果降维不多，则性能提升不大；如果目标维度太小，则又丢失了许多信息。 由于 PCA 减小了特征维度，因而也有可能带来过拟合的问题。PCA 不是必须的，在机器学习中，一定谨记不要提前优化，只有当算法运行效率不尽如如人意时，再考虑使用 PCA 或者其他特征降维手段来提升训练速度。 降低特征维度不只能加速模型的训练速度，还能帮我们在低维空间分析数据，例如，一个在三维空间完成的聚类问题，我们可以通过 PCA 将特征降低到二维平面进行可视化分析。 根据 13 个特征对葡萄酒分类（推销给不同品味的人），利用 PCA ，可以将数据从 13 维降到 2 维进行可视化。 array([[1.369e+01, 3.260e+00, 2.540e+00, 2.000e+01, 1.070e+02, 1.830e+00, 5.600e-01, 5.000e-01, 8.000e-01, 5.880e+00, 9.600e-01, 1.820e+00, 6.800e+02], [1.269e+01, 1.530e+00, 2.260e+00, 2.070e+01, 8.000e+01, 1.380e+00, 1.460e+00, 5.800e-01, 1.620e+00, 3.050e+00, 9.600e-01, 2.060e+00, 4.950e+02], [1.162e+01, 1.990e+00, 2.280e+00, 1.800e+01, 9.800e+01, 3.020e+00, 2.260e+00, 1.700e-01, 1.350e+00, 3.250e+00, 1.160e+00, 2.960e+00, 3.450e+02]]) array([[ 0.87668336, 0.79842885, 0.64412971, 0.12974277, 0.48853231, -0.70326216, -1.42846826, 1.0724566 , -1.36820277, 0.35193216, 0.0290166 , -1.06412236, -0.2059076 ], [-0.36659076, -0.7581304 , -0.39779858, 0.33380024, -1.41302392, -1.44153145, -0.5029981 , 1.70109989, 0.02366802, -0.84114577, 0.0290166 , -0.73083231, -0.81704676], [-1.69689407, -0.34424759, -0.32337513, -0.45327855, -0.14531976, 1.24904997, 0.31964204, -1.52069698, -0.4346309 , -0.75682931, 0.90197362, 0.51900537, -1.31256499]]) array([0.36884109, 0.19318394, 0.10752862, 0.07421996, 0.06245904, 0.04909 , 0.04117287, 0.02495984, 0.02308855, 0.01864124, 0.01731766, 0.01252785, 0.00696933]) array([[-2.17884511, -1.07218467], [-1.80819239, 1.57822344], [ 1.09829474, 2.22124345]]) LogisticRegression(C=1.0, class_weight=None, dual=False, fit_intercept=True, intercept_scaling=1, max_iter=100, multi_class="ovr", n_jobs=1, penalty="l2", random_state=0, solver="liblinear", tol=0.0001, verbose=0, warm_start=False) array([1, 3, 2, 1, 2]) array([[14, 0, 0], [ 1, 15, 0], [ 0, 0, 6]]) 准确率(精度)为 : 0.9722222222222222 参考： https://zh.wikipedia.org/wiki/主成分分析 《 斯坦福机器学习》 《机器学习 A-Z》

主成分分析的基本思想介绍如下：主成分分析的原理是设法将原来变量重新组合成一组新的相互无关的几个综合变量，同时根据实际需要从中可以取出几个较少的总和变量尽可能多地反映原来变量的信息的统计方法叫做主成分分析或称主分量分析，也是数学上处理降维的一种方法。主成分分析的主要作用1．主成分分析能降低所研究的数据空间的维数。2．有时可通过因子负荷aij的结论，弄清X变量间的某些关系。3．多维数据的一种图形表示方法。4．由主成分分析法构造回归模型。即把各主成分作为新自变量代替原来自变量x做回归分析。5．用主成分分析筛选回归变量。最经典的做法就是用F1（选取的第一个线性组合，即第一个综合指标）的方差来表达，即Va（rF1）越大，表示F1包含的信息越多。因此在所有的线性组合中选取的F1应该是方差最大的，故称F1为第一主成分。拓展：主成分分析是指通过将一组可能存在相关性的变量转换城一组线性不相关的变量，转换后的这组变量叫主成分。主成分分析步骤：1、对原始数据标准化，2、计算相关系数，3、计算特征，4、确定主成分，5、合成主成分。

主成分分析法适用于人口统计学、数量地理学、分子动力学模拟、数学建模、数理分析等问题，是一种常用的多变量分析方法。主成分分析作为基础的数学分析方法，其实际应用十分广泛。主成分分析，是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。在实际课题中，为了全面分析问题，往往提出很多与此有关的变量或因素，因为每个变量都在不同程度上反映这个课题的某些信息。主成分分析法原理在用统计分析方法研究多变量的课题时，变量个数太多就会增加课题的复杂性。人们自然希望变量个数较少而得到的信息较多。在很多情形，变量之间是有一定的相关关系的，当两个变量之间有一定相关关系时，可以解释为这两个变量反映此课题的信息有一定的重叠。主成分分析是对于原先提出的所有变量，将重复的变量关系紧密的变量删去多余，建立尽可能少的新变量，使得这些新变量是两两不相关的，而且这些新变量在反映课题的信息方面尽可能保持原有的信息。设法将原来变量重新组合成一组新的互相无关的几个综合变量，同时根据实际需要从中可以取出几个较少的综合变量尽可能多地反映原来变量的信息的统计方法叫做主成分分析或称主分量分析，也是数学上用来降维的一种方法。

主成分分析法： 英文全名 Principal Component Analysis 简称 PCA ，由名字就可以看出来，这是一个挑重点分析的方法。主成分分析 法是通过 恰当 的数学变换 ，使新变量—— 主成分成为原变量 的线性 组合 ，并选 取少数 几个在变差总信息量中 比例较 大的主成分来分析 事物 的一种方法 。 主成分在变差信息量中的比例越大 ， 它在综合评价 中的作用就越大。思想： 整体思想就是化繁为简，抓住问题关键，也就是降维思想。当然，既然是抓住关键，那么自然就是以牺牲精度为代价。解决问题： 因为每个变量都在不同程度上反映了所研究问题的某些信息，并且指标之间彼此有一定的相关性，因而所得的统计数据反映的信息在一定程度上有重叠。 在用统计方法研究多变量问题时，变量太多会增加计算量和分析问题的复杂性。人们希望在进行定量分析过程中，涉及的变量较少，得到的信息量较多。为了尽可能的减少冗余和噪音，一般情况可以从相关变量中选择一个，或者把几个相关变量综合为一个变量作为代表，用少数变量来代表所有变量。原理： 因为评估所涉及的众多变量之间既然有一定的相关性，就必然存在着起支配作用的因素。根据这一点，通过对原始变量和相关矩阵的内部结构的关系研究 ，找出影响目标变量某一要素的几个综合指标，使综合指标为原来变量的线性拟合。 这样，综合指标不仅保留了原始变量的主要信息，且彼此间不相关，又比原始变量具有某些更优越的性质，使得我们在研究复杂目标变量评估问题时，容易抓住主要矛盾。形象理解比如，某学籍数据，有两列 M 和 F ，其中M 列的取值是如果学生为男性，则取值为 1 如果为女性，则取值为 0 。F 列，如果为男性则取值为 0 否则取值为一。 由这两种关系可以知道，这两列数据是强相关的。只要保留一列，就能够完全还原另外一列。  当然，不要局限于数据删除，还有数据转换，删除可以理解为在此方法中的一种方式。当然，上述情况在真实数据中是不可能出现的。这里只是借此介绍一下这种思维。真实情况中， 我们需要考虑删除哪一列信息可以使得损失最小？或者是通过变换数据就能使得损失信息更小？又如何度量信息的丢失量？原始数据的处理降维有哪些步骤？坐标示例：我们来看下面这张图，这是一个椭圆的点阵。椭圆上面有一个长轴和一个短轴。现在我们要表示点阵的主要变化趋势，就可以以长短轴（或者平行于长短轴）构建新的坐标系。在极端的情况下，短轴变成了一个点，那么长轴就能代表这个点阵的趋势和特点。这样，一个二维数据，就变成了一维。基础知识储备内积与投影：内积运算，将两个向量映射为一个实数。其几何意义就是 向量 A ，在向量 B 的投影长度。（下图是以二维向量为例，多维空间依然是如此。）上式中，B 为单位向基 ：同样以上图 B为例，B向量为（3，2）其表示的其实为在 X 轴的投影值为3 ，在Y轴的投影值 为 2 。这其实加入了一个隐含信息，就是本坐标轴 分别是以 X Y轴为方向的单位向量。这里的 X Y 轴其实就是我们所提到的 基。只不过一般默认为 （1，0）和（0，1）所以呢，要描述一组向量，首先是要确定一组基。然后求这个向量在这组基中的投影即可。对基的要求是线性无关，并不一定非要正交。但是因为正交基有较好的性质，所以一般情况我们都是用正交基。基变换上面我们了解了基的原理。如果同样把（3，2）放到新基里面描述，那就是把向量和新基相乘即可。如果是在描述中，有多个基呢？那就是与基阵相乘。如何实现降维上面的思路，我们都清楚了。那么我们如何通过基变换来降维呢？这里我们来举个例子。假设我们有一个矩阵如下。为了处理方面，我们现在把每个字段都减去字段平均值，那么就变成了如下所示表示在坐标上如下图那么，我们现在想用一维坐标来表示，而且要求尽可能的保留原来的信息，我们需要如何选择方向（基）呢？（二维降一维）思路就是，希望投影后的值尽可能的分散，避免重合。协方差：在概率论与统计学中，协方差用于衡量两个随机变量的联合变化程度。而方差则是协方差的一种特殊情况，即变量与自身的协方差。期望：在概率论和统计学中，一个离散性随机变量的期望值（或数学期望，亦简称期望，物理学中称为期待值）是试验中每次可能的结果乘以其结果概率的总和。比如骰子的期望值为 1* 1/6 +2*1/6 + …+ 6*1/6 = 3.5协方差公式为：其中，E(X) = u E(Y) = v协方差表示的是两个变量的总体的误差 ，这与只表示一个变量误差的方差不同。 如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。 如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。如果X 与Y 是统计独立的，那么二者之间的协方差就是0流程和步骤第一步：标准化把输入数据集变量的范围标准化，以使它们中的每一个均可以大致成比例的分析。简单说，就是要把存在较大差异的数据转变为可比较的数据。比如把 0-100 的变量转化为 0-1 的变量。这一步一般可以通过减去平均值，再除以每个变量值的标准差来完成。标准差公式如下那么常用的标准化指标变量公式可为第二步：协方差矩阵计算这一步的目的是：了解输入数据集的变量是如何相对于平均值变化的。或者换句话说，是为了查看它们之间是否存在任何关系。因为有时候，变量间高度相关是因为它们包含大量的信息。因此，为了识别这些相关性，我们进行协方差矩阵计算。协方差矩阵是p×p对称矩阵（其中p是维数），其所有可能的初始变量与相关联的协方差作为条目。好了，现在我们知道协方差矩阵只不过是一个表，汇总了所有可能配对的变量间相关性。下面就是计算协方差矩阵的特征向量和特征值，以筛选主要成分。第三步：计算协方差矩阵的特征向量和特征值，用以识别主成分特征向量和特征值都是线性代数概念，需要从协方差矩阵计算得出，以便确定数据的主成分。开始解释这些概念之前，让我们首先理解主成分的含义主成分是由初始变量的线性组合或混合构成的新变量。该组合中新变量（如主成分）之间彼此不相关，且大部分初始变量都被压缩进首个成分中。所以，10维数据会显示10个主成分，但是PCA试图在第一个成分中得到尽可能多的信息，然后在第二个成分中得到尽可能多的剩余信息，以此类推。例如，假设你有一个10维数据，你最终将得到的内容如下面的屏幕图所示，其中第一个主成分包含原始数据集的大部分信息，而最后一个主成分只包含其中的很少部分。因此，以这种方式组织信息，可以在不丢失太多信息的情况下减少维度，而这需要丢弃携带较少信息的成分。在这里，方差和信息间的关系是，线所承载的方差越大，数据点沿着它的分散也越大，沿着线的散点越多，它所携带的信息也越多。简单地说，只要把主成分看作是提供最佳角度来观察和评估数据的新轴，这样观测结果之间的差异就会更明显。协方差矩阵的特征向量实际上是方差最多的轴的方向（或最多的信息），我们称之为主成分。通过特征值的顺序对特征向量进行排序，从最高到最低，你就得到了按重要性排序的主成分。第四步：特征向量正如我们在上一步中所看到的，计算特征向量并按其特征值依降序排列，使我们能够按重要性顺序找到主成分。在这个步骤中我们要做的，是选择保留所有成分还是丢弃那些重要性较低的成分（低特征值），并与其他成分形成一个向量矩阵，我们称之为特征向量。因此，特征向量只是一个矩阵，其中包含我们决定保留的成分的特征向量作为列。这是降维的第一步，因为如果我们选择只保留n个特征向量（分量）中的p个，则最终数据集将只有p维。第五步：沿主成分轴重新绘制数据在前面的步骤中，除了标准化之外，你不需要更改任何数据，只需选择主成分，形成特征向量，但输入数据集时要始终与原始轴统一（即初始变量）。这一步，也是最后一步，目标是使用协方差矩阵的特征向量去形成新特征向量，将数据从原始轴重新定位到由主成分轴中（因此称为主成分分析）。这可以通过将原始数据集的转置乘以特征向量的转置来完成。优缺点优点：化繁为简，降低了计算量。缺点：一定程度上损失了精度。并且只能处理“线性问题”，这是一种线性降维技术、总结假设我们拿到了一份数据集，有m个样本，每个样本由n个特征（变量）来描述，那么我们可以按照以下的步骤进行降维：1、将数据集中的每个样本作为列向量，按列排列构成一个n行m列的矩阵；2、将矩阵的每一个行向量（每个变量）都减去该行向量的均值，从而使得新行向量的均值为0，得到新的数据集矩阵X；3、求X的协方差矩阵，并求出协方差矩阵的特征值λ和单位特征向量e；4、按照特征值从大到小的顺序，将单位特征向量排列成矩阵，得到转换矩阵P，并按PX计算出主成分矩阵；5、用特征值计算方差贡献率和方差累计贡献率，取方差累计贡献率超过85%的前k个主成分，或者想降至特定的k维，直接取前k个主成分。

1、主成分分析（Principal Component Analysis，PCA）， 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。 2、在实际课题中，为了全面分析问题，往往提出很多与此有关的变量（或因素），因为每个变量都在不同程度上反映这个课题的某些信息。 3、主成分分析首先是由K.皮尔森（Karl Pearson）对非随机变量引入的，尔后H.霍特林将此方法推广到随机向量的情形。信息的大小通常用离差平方和或方差来衡量。

主成分分析，是考察多个变量间相关性一种多元统计方法，研究如何通过少数几个主成分来揭示多个变量间的内部结构，即从原始变量中导出少数几个主成分，使它们尽可能多地保留原始变量的信息，且彼此间互不相关.通常数学上的处理就是将原来P个指标作 线性组合 ，作为新的综合指标。. 最经典的做法就是用F1（选取的第一个线性组合，即第一个综合指标）的 方差 来表达，即Var (F1)越大，表示F1包含的信息越多。. 因此在所有的线性组合中选取的F1应该是方差最大的，故称F1为第一主成分。.主成分分析（Principal Component Analysis，PCA）， 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。在实际课题中，为了全面分析问题，往往提出很多与此有关的变量（或因素），因为每个变量都在不同程度上反映这个课题的某些信息。主成分分析首先是由K.皮尔森（Karl Pearson）对非随机变量引入的，尔后H.霍特林将此方法推广到随机向量的情形。信息的大小通常用离差平方和或方差来衡量。

spss的主成分分析主要应用在因子分析里,目的是将原来很多的因素,通过他们内在的相关分析,整合成新的一个或多个相对独立的综合因素,来代表原来散乱的因素.例如我们测量客户满意度,设计了10个题目,那数据收集完后,就可以通过因子分析,来看看这10个题目是否能综合成几个因素.通过spss的主成分分析,就可以得出相应结果.结果可能是其中5个题目的相关显著,可以通过一个因素来归纳这5个因素,另外3个、2个也可以分别组成一个,而且主成分对应的特征值大于1,这样就最后就可以通过3个综合因素来研究和分析客户满意度了

收藏立即下载为了提升浏览体验，原视图版网页已升级为如下版式主成分分析法的步骤和原理主成分分析法的步骤和原理.pdf438.91K, 15页, 13478次阅读sshiiwengy6 分享于2016-11-16 09:09立即下载 举报（一）主成分分析法的基本思想主成分分析（Principal Component Analysis ）是利用降维的思想，将多个变 量转化为少数几个综合变量（即主成分），其中每个主成分都是原始变量的线性 组合，各主成分之间互不相关，从而这些主成分能够反映始变量的绝大部分信 息，且所含的信息互不重叠。[2]采用这种方法可以克服单一的财务指标不能真实反映公司的财务情况的缺 点，引进多方面的财务指标，但又将复杂因素归结为几个主成分，使得复杂问 题得以简化，同时得到更为科学、准确的财务信息。（二）主成分分析法代数模型假设用p个变量来描述研究对象，分别用 X1， X2…Xp来表示，这p个变量 构成的p维随机向量为X=(X1， X2…Xp)t。设随机向量X 的均值为μ，协方差 矩阵为Σ。假设 X 是以 n 个标量随机变量组成的列向量，并且μk 是其第k个元素的 期望值，即，μk= E(xk)，协方差矩阵然后被定义为：Σ=E{(X-E[X])(X-E [X])}=(如图对 X 进行线性变化，考虑原始变量的线性组合：Zp=μ p1X1+μ p2X2+…μ ppXp主成分是不相关的线性组合Z1， Z2……Zp，并且Z1是 X1， X2…Xp的线性 组合中方差最大者， Z2是与 Z1不相关的线性组合中方差最大者，…， Zp是与Z1， Z2 ……Zp-1 都不相关的线性组合中方差最大者。（三）主成分分析法基本步骤第一步：设估计样本数为n，选取的财务指标数为p，则由估计样本的原始 数据可得矩阵 X=(xij)m×p，其中 xij表示第 i 家上市公司的第 j 项财务指标数据。第二步：为了消除各项财务指标之间在量纲化和数量级上的差别，对指标 数据进行标准化，得到标准化矩阵（系统自动生成）。第三步：根据标准化数据矩阵建立协方差矩阵 R，是反映标准化后的数据 之间相关关系密切程度的统计指标，值越大，说明有必要对数据进行主成分分 析。其中， Rij （i， j=1， 2，…， p）为原始变量Xi与Xj的相关系数。 R为实对 称矩阵（即 Rij=Rji），只需计算其上三角元素或下三角元素即可，其计算公式为：1/15页n第四步：根据协方差矩阵 R 求出特征值、主成分贡献率和累计方差贡献率， 确定主成分个数。解特征方程ER  0，求出特征值λi（i=1， 2，…， p）。因为R是正定矩阵，所以其特征值λi都为正数，将其按 大小顺序排列，即λ1≥λ2≥…≥λi≥0。特征值是各主成分的方差，它的大1 且累计贡献率达80%-95%的特征值λ1，λ2，…，λm所对应的1， 2，…， m （m≤p）， 其中整数 m 即为主成分的个数。第五步：建立初始因子载荷矩阵，解释主成分。因子载荷量是主成分Zi与 原始指标Xi的相关系数R （Zi， Xi），揭示了主成分与各财务比率之间的相关程 度，利用它可较好地解释主成分的经济意义。第六步：计算企业财务综合评分函数Fm，计算出上市公司的综合值，并进 行降序排列：Fm=W1Z1 + W2Z2+…+ WiZi

你想知道什么》

spss主成分分析法详细步骤：　　1、打开SPSS软件，导入数据后，依次点击分析，降维，因子分析。如图1所示（图1）　　2、打开因子分析界面之后，把需要进行分析的变量全部选进变量对话框，然后点击右上角的描述。如图2所示（图2）　　3、勾选原始分析结果、KMO检验对话框，然后点击继续。如图3所示（图3）　　4、点击抽取，方法里选择主成分再点击碎石图。如图4所示（图4）　　5、点击旋转，再点击最大方差旋转。如图5所示（图5）　　6、点击得分，再点击，保存为变量及显示因子得分系数矩阵。如图6所示（图6）　　7、最后点确定就可以在输出截面看到主成分分析的结果了。如图7所示（图7）总结：以上就是spss主成分分析法详细步骤，大家是不是学会了呢？

　　主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。 　　在统计学中，主成分分析（principal components analysis,PCA）是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征.这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面.但是，这也不是一定的，要视具体应用而定.

主成分分析中,各主成分之间的关系是( )。A.  相互独立B.  低度相关C.  高度相关D.    完全相关答案：B.低度相关主成分分析 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。在实际课题中，为了全面分析问题，往往提出很多与此有关的变量（或因素），因为每个变量都在不同程度上反映这个课题的某些信息。主成分分析首先是由K.皮尔森（Karl Pearson）对非随机变量引入的，尔后H.霍特林将此方法推广到随机向量的情形。信息的大小通常用离差平方和或方差来衡量。在用统计分析方法研究多变量的课题时，变量个数太多就会增加课题的复杂性。人们自然希望变量个数较少而得到的信息较多。在很多情形，变量之间是有一定的相关关系的，当两个变量之间有一定相关关系时，可以解释为这两个变量反映此课题的信息有一定的重叠。主成分分析是对于原先提出的所有变量，将重复的变量（关系紧密的变量）删去多余，建立尽可能少的新变量，使得这些新变量是两两不相关的，而且这些新变量在反映课题的信息方面尽可能保持原有的信息

主成分分析最主要的用途在于“降维”。举个例子，你要做一项分析，选中了20个指标，你觉得都很重要，但是20个指标对于你的分析确实太过繁琐，这时候，你就可以采用主成分分析的方法进行降维。20个指标之间会有这样那样的相互关系，相互之间会有影响，通过主成分分析后，得到4个或者5个主成分指标。此时，这几个主成分指标既涵盖了你20个指标中的绝大部分信息，又让你的分析得到了简化（从20维降到4、5维），简化了分析过程，增加了结果精度。

1输入数据。2点Analyze 下拉菜单，选Data Reduction 下的Factor 。3打开Factor Analysis后,将数据变量逐个选中进入Variables 对话框中。4单击主对话框中的Descriptive按扭，打开Factor Analysis: Descriptives子对话框，在Statistics栏中选择Univariate Descriptives项要求输出个变量的均值与标准差，在Correlation Matrix 栏内选择Coefficients项，要求计算相关系数矩阵，单击Continue按钮返回Factor Analysis主对话框。5单击主对话框中的Extraction 按钮，打开如下图所示的Factor Analysis: Extraction 子对话框。在Method列表中选择默认因子抽取方法——Principal Components，在Analyze 栏中选择默认的Correlation Matrix 项要求从相关系数矩阵出发求解主成分，在Exact 栏中选择Number of Factors;6， 要求显示所有主成分的得分和所能解释的方差。单击Continue按钮返回Factor Analysis主对话框。6单击主对话框中的OK 按钮，输出结果。

主成分分析（Principal Component Analysis，PCA）， 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。在实际课题中，为了全面分析问题，往往提出很多与此有关的变量（或因素），因为每个变量都在不同程度上反映这个课题的某些信息。主成分分析首先是由K.皮尔森（Karl Pearson）对非随机变量引入的，尔后H.霍特林将此方法推广到随机向量的情形。信息的大小通常用离差平方和或方差来衡量。在用统计分析方法研究多变量的课题时，变量个数太多就会增加课题的复杂性。人们自然希望变量个数较少而得到的信息较多。在很多情形，变量之间是有一定的相关关系的，当两个变量之间有一定相关关系时，可以解释为这两个变量反映此课题的信息有一定的重叠。主成分分析是对于原先提出的所有变量，将重复的变量（关系紧密的变量）删去多余，建立尽可能少的新变量，使得这些新变量是两两不相关的，而且这些新变量在反映课题的信息方面尽可能保持原有的信息。设法将原来变量重新组合成一组新的互相无关的几个综合变量，同时根据实际需要从中可以取出几个较少的综合变量尽可能多地反映原来变量的信息的统计方法叫作主成分分析或称主分量分析，也是数学上用来降维的一种方法

　　主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。 　　在统计学中，主成分分析（principal components analysis,PCA）是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征.这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面.但是，这也不是一定的，要视具体应用而定.

主成分分析和因子分析的原理不同。主成分分析基本原理：利用降维（线性变换)的思想，在损失很少信息的前提下把多个指标转化为几个不相关的综合指标（主成分)，即每个主成分都是原始变量的线性组合，且各个主成分之间互不相关，使得主成分比原始变量具有某些更优越的性能（主成分必须保留原始变量90%以上的信息），从而达到简化系统结构，抓住问题实质的目的。因子分析基本原理：利用降维的思想，由研究原始变量相关矩阵内部的依赖关系出发，把一些具有错综复杂关系的变量表示成少数的公共因子和仅对某一个变量有作用的特殊因子线性组合而成。就是要从数据中提取对变量起解释作用的少数公共因子。因子分析是主成分的推广，相对于主成分分析，更倾向于描述原始变量之间的相关关系。主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标（即主成分），其中每个主成分都能够反映原始变量的大部分信息，且所含信息互不重复。这种方法在引进多方面变量的同时将复杂因素归结为几个主成分，使问题简单化，同时得到的结果更加科学有效的数据信息。在实际问题研究中，为了全面、系统地分析问题，我们必须考虑众多影响因素。这些涉及的因素一般称为指标，在多元统计分析中也称为变量。因为每个变量都在不同程度上反映了所研究问题的某些信息，并且指标之间彼此有一定的相关性，因而所得的统计数据反映的信息在一定程度上有重叠。主要方法有特征值分解，SVD，NMF等。

主宾结构的时候

层次分析法：主成分分析和层次分析两者计算权重的不同，AHP层次分析法是一种定性和定量的计算权重的研究方法，采用两两比较的方法，建立矩阵，利用了数字大小的相对性，数字越大越重要权重会越高的原理，最终计算得到每个因素的重要性。主成分分析（1）方法原理及适用场景主成分分析是对数据进行浓缩，将多个指标浓缩成为几个彼此不相关的概括性指标（主成分），从而达到降维的目的。主成分分析可同时计算主成分权重及指标权重。（2）操作步骤使用SPSSAU【进阶方法-主成分分析】。如果计算主成分权重，需要用到方差解释率。具体加权处理方法为：方差解释率除累积方差解释率。比如本例中，5个指标共提取了2个主成分：主成分1的权重：45.135%/69.390%=65.05%主成分2的权重：24.254%/69.390%=34.95%如果是计算指标权重，可直接查看“线性组合系数及权重结果表格”，SPSSAU自动输出了各指标权重占比结果。其计算原理分为三步：第一：计算线性组合系数矩阵，公式为：loading矩阵/Sqrt(特征根)，即载荷系数除以对应特征根的平方根；第二：计算综合得分系数，公式为：累积（线性组合系数*方差解释率）/累积方差解释率，即上一步中得到的线性组合系数分别与方差解释率相乘后累加，并且除以累积方差解释率；第三：计算权重，将综合得分系数进行归一化处理即得到各指标权重值。

主成分分析用于对数据信息进行浓缩，比如总共有20个指标值，是否可以将此20项浓缩成4个概括性指标。第一步:判断是否进行主成分(pca)分析;判断标准为KMO值大于0.6.第二步:主成分与分析项对应关系判断.第三步：在第二步删除掉不合理分析项后,并且确认主成分与分析项对应关系良好后,则可结合主成分与分析项对应关系,对主成分进行命名.spssau主成分分析操作共有三步：①选择【进阶方法】--【主成分分析】②将分析项拖拽到右侧分析框③点击开始分析请点击输入图片描述默认提供主成分得分和综合得分，分析前勾选“成分得分”、“综合得分”即可。

因子分析与主成分分析的异同点:都对原始数据进行标准化处理; 都消除了原始指标的相关性对综合评价所造成的信息重复的影响; 构造综合评价时所涉及的权数具有客观性; 在信息损失不大的前提下，减少了评价工作量公共因子比主成分更容易被解释; 因子分析的评价结果没有主成分分析准确; 因子分析比主成分分析的计算工作量大主成分分析仅仅是变量变换，而因子分析需要构造因子模型。主成分分析:原始变量的线性组合表示新的综合变量，即主成分；因子分析：潜在的假想变量和随机影响变量的线性组合表示原始变量。

主成分分析用于对数据信息进行浓缩，比如总共有20个指标值，是否可以将此20项浓缩成4个概括性指标。第一步：判断是否进行主成分(pca)分析;判断标准为KMO值大于0.6.第二步：主成分与分析项对应关系判断.第三步：在第二步删除掉不合理分析项后,并且确认主成分与分析项对应关系良好后,则可结合主成分与分析项对应关系,对主成分进行命名.spssau主成分分析操作共有三步：①选择【进阶方法】--【主成分分析】②将分析项拖拽到右侧分析框③点击开始分析请点击输入图片描述默认提供主成分得分和综合得分，分析前勾选“成分得分”、“综合得分”即可。

面板数据方法很多，最简单的是加权平均一下做一个因子分析1输入数据。2点Analyze 下拉菜单，选Data Reduction 下的Factor 。3打开Factor Analysis后,将数据变量逐个选中进入Variables 对话框中。4单击主对话框中的Descriptive按扭，打开Factor Analysis: Descriptives子对话框，在Statistics栏中选择Univariate Descriptives项要求输出个变量的均值与标准差，在Correlation Matrix 栏内选择Coefficients项，要求计算相关系数矩阵，单击Continue按钮返回Factor Analysis主对话框。5单击主对话框中的Extraction 按钮，打开如下图所示的Factor Analysis: Extraction 子对话框。在Method列表中选择默认因子抽取方法——Principal Components，在Analyze 栏中选择默认的Correlation Matrix 项要求从相关系数矩阵出发求解主成分，在Exact 栏中选择Number of Factors;6， 要求显示所有主成分的得分和所能解释的方差。单击Continue按钮返回Factor Analysis主对话框。6单击主对话框中的OK 按钮，输出结果。统计专业研究生工作室原创，请勿复杂粘贴

得到的主元物理意思或者现实含义没有原来的变量那么清楚，确切。而且得到的特征值有负号的时候，，综合评价函数意义就不明确。

恩！第一个是特征值。一般有大于1的或者大于0.5，累计方差百分比一般要求大于85%才能够进行主成分分析。得到的是每个变量的指标，相关系数吧a。然后就是根据特征值b，求向量系数u，u=a/sqr(b).这样就得到了系数。 F1=α11x1+α12x2+ ... +α1pxp F2=α21x1+α22x2+ ... +α2pxp ... ... ... ... ... ... Fm=αm1x1+αm2x2+ ... +αmpxp然后根据成分构建F的综合模型。有需要帮助hi我！

spss中有选项的，一般选择看特征根我经常帮别人做类似的数据分析的

主成分分析做的仅为变量变换，将原始变量进行线性组合得到互相正交的新变量因子分析需要构造因子模型，用潜在的假想变量（不可观测的潜在变量）和随机影响变量的线性组合表示原始变量。因子旋转是因子分析的核心，因子分析模型中公共因子的系数aij 称为因子载荷，所谓载荷亦即aij 表示第i个变量与第j个公共因子的相关系数，其绝对值越大表示相关的密切程度越高。因子旋转实际上是对因子载荷矩阵进行旋转，可以简化因子载荷阵的结构，使载荷矩阵中每列或每行的元素平方值向0和1两极分化，通过因子旋转（实际上是做坐标旋转）使每个原始变量在尽可能少的因子之间有密切关系，这样因子解的实际意义更容易解释。只有少数几个变量在某个公共因子上有较高载荷而其他变量在其上载荷较小或是趋于零时，对该公共因子的解释最为简单。

主成分分析，是现将原始数据标准化；建立变量之间的相关系数矩阵；求R的特征值和特征向量；写出主成分并进行分析。spss的操作：分析-回归分析-线性。将变量选入因变量，将其他几个考察因素选入自变量。进行多重回归分析及共线性诊断。之后金牛星主成分分析确定所需主成分操作：分析-降维-因子分析，打开主成分分析，将变量选入列表框。

主成分看方差贡献率就可以，各个指标要二次运算吧。我也正在找，同问。

主成分分析（ Principal components analysis），简称PCA，是最主要的数据降维方法之一。本文从PCA的思想开始，一步一步推导PCA。 对于 , 。我们希望 从 维降到 维，同时希望信息损失最少。比如，从 维降到 ： 我们既可以降维到第一主成分轴，也可以降维到第二主成分轴。那么如何找到这这些主成分轴并且选择最优成分轴呢？ 直观上，第一主成分轴 优于 第二主成分轴，即具有最大可分性。 下面解决一些基本概念。 欲获得原始数据新的表示空间，最简单的方法是对原始数据进行线性变换（基变换）： 其中 是原始样本， 是基向量， 是新表达。 数学表达： 其中 是行向量，表示第 个基， 是一个列向量，表示第 个原始数据记录. 当 时即 基的维度 < 数据维度时，可达到降维的目的。即： 以直角坐标系下的点(3,2)为例，欲将点(3,2)变换为新基上的坐标，就是用(3,2)与第一个基做内积运算，作为第一个新的坐标分量，然后用(3,2)与第二个基做内积运算，作为第二个新坐标的分量。 可以稍微推广一下，如果我们有m个二维向量，只要将二维向量按列排成一个两行m列矩阵，然后用“基矩阵”乘以这个矩阵，就得到了所有这些向量在新基下的值。例如(1,1)，(2,2)，(3,3)，想变换到刚才那组基上，则可以这样表示： 回顾一下，我们的目的是希望在降维过程中损失最少，换言之，我们希望投影后的数据尽可能分散开。这种分散程度可以用方差来表达， 方差 越大，数据越分散。 随机变量 表达了 的取值与其数学期望之间的偏离程度。若 较小，意味着 的取值主要集中在期望 也就是 的附近，反之，若 较大，意味着 的取值比较分散。 为了避免过于抽象，我们以一个具体的例子展开。假设我们5个样本数据，分别是 ，将它们表示成矩阵形式： 为了后续处理方便，我们首先将每个字段内所有值都减去字段均值，其结果是将每个字段都变为均值为0. 我们看上面的数据，设第一个特征为 ，第二个特征为 , 此时某一个样本可以写作： 且特征 的均值为2, 特征 的均值为3，所以变换后： 协方差 （Covariance）在 概率论 和 统计学 中用于衡量两个变量的总体 误差 。 比如对于二维随机变量 ，特征 除了自身的数学期望和方差，还需要讨论 之间互相关系的数学特征。 当 时，变量 完全独立，这也是我们希望达到的优化目标。 方差 是协方差的一种特殊情况，即当两个变量是相同的情况: 对于 二维 随机变量 , 对于 n维 随机变量 , 可见，协方差矩阵是 行 列的对称矩阵，主对角线上是方差，而协对角线上是协方差。 依然我们以一个具体的例子展开，还是这5个样本数据， , ，将它们去中心化后表示成矩阵形式： 那如果有 个样本的话， 对 做一些变换，用 乘以 的转置，并乘上系数1/m： 这不正是协方差矩阵嘛！ 现在我们可以说： 回顾一下： 设 的协方差矩阵为 ， 的协方差矩阵为 ，且 。 我们要找的 不是别的，而是能让原始协方差矩阵对角化的 。 现在所有焦点都聚焦在了 协方差矩阵对角化 问题上。 由上文知道，协方差矩阵 是一个是对称矩阵，在线性代数上，实对称矩阵有一系列非常好的性质： 1）实对称矩阵不同特征值对应的特征向量必然正交。 2）设特征向量 重数为 ，则必然存在 个线性无关的特征向量对应于 ，因此可以将这 个特征向量单位正交化。 由上面两条可知，一个 行 列的实对称矩阵一定可以找到 个单位正交特征向量，设这 个特征向量为 ，我们将其按列组成矩阵： 则对协方差矩阵 有如下结论： 其中 为对角矩阵，其对角元素为各特征向量对应的特征值（可能有重复）。 结合上面的公式： 其中， 为对角矩阵，我们可以得到： 是协方差矩阵 的特征向量单位化后按行排列出的矩阵，其中每一行都是 的一个特征向量。如果设 按照 中特征值的从大到小，将特征向量从上到下排列，则用 的前 行组成的矩阵乘以原始数据矩阵 ，就得到了我们需要的降维后的数据矩阵 。 总结一下PCA的算法步骤： 设有 条 维数据。 1）将原始数据按列组成 行 列矩阵X 2）将 的每一行（代表一个特征）进行零均值化，即减去这一行的均值 3）求出协方差矩阵 4）求出协方差矩阵 的特征值及对应的特征向量 5）将特征向量按对应特征值大小从上到下按行排列成矩阵，取前 行组成矩阵 6） 即为降维到 维后的数据 这里以上文提到的： ，将它们表示成矩阵形式： 我们用PCA方法将这组二维数据其降到一维。 为了后续处理方便，我们首先将每个特征内所有值都减去字段均值，其结果是将每个字段都变为均值为0. 因为这个矩阵的每行已经是零均值，这里我们直接求协方差矩阵： 对于矩阵 : 和 分别是特征值和特征向量， ，则： 为了使这个方程式有非零解，矩阵 的行列式必须是 0 ： 即： 则： 分解得： 找到2个特征值， , , when : 即： 则： 和 可以取任意值，我们取归一化的 和 ，即： , 此时 和 when : 即： 则： 和 可以取任意值，我们取归一化的 和 ，即： 此时 和 所以： 可以验证协方差矩阵C的对角化： 最后我们用 的第一行乘以数据矩阵，就得到了降维后的表示： 降维投影结果如下图：

主成分分析只提取一个主成分是不可以的。应保留多少个主成分要视具体情况，很难一概而论，最终还得依赖于主观判断。当取一个和二个主成分都可行时，取一个的优点是可以对各样品进行综合排序（如果这种排序是有实际意义的）。如果只提取了一个主成分，可能是数据存在问题，也有可能是这些变量之间本身就存在很强的相关性，所以主成分分析只能提取一个主成分。扩展资料：主成分分析，是考察多个变量间相关性一种多元统计方法，研究如何通过少数几个主成分来揭示多个变量间的内部结构，即从原始变量中导出少数几个主成分，使它们尽可能多地保留原始变量的信息，且彼此间互不相关.通常数学上的处理就是将原来P个指标作线性组合，作为新的综合指标。最经典的做法就是用F1（选取的第一个线性组合，即第一个综合指标）的方差来表达，即Var(F1)越大，表示F1包含的信息越多。因此在所有的线性组合中选取的F1应该是方差最大的，故称F1为第一主成分。如果第一主成分不足以代表原来P个指标的信息，再考虑选取F2即选第二个线性组合，为了有效地反映原来信息，F1已有的信息就不需要再出现在F2中，用数学语言表达就是要求Cov(F1, F2)=0，则称F2为第二主成分，依此类推可以构造出第三、第四，……，第P个主成分。

主成分是标准化后的特征向量和原指标的线性组合，例如第p主成分：Fp=a1iZX1+a2iZX2+……+apiZXp其中a1i, a2i, ……,api(i=1,……,m)为X的协方差阵Σ的特征值所对应的特征向量，ZX1, ZX2, ……, ZXp是原始变量经过标准化处理的值，因为在实际应用中，往往存在指标的量纲不同，所以在计算之前须先消除量纲的影响，而将原始数据标准化

spss如何做主成分分析 主成分分析的主要原理是寻找一个适当的线性变换： •将彼此相关的变量转变为彼此独立的新变量； •方差较大的几个新变量就能综合反应原多个变量所包含的主要信息； •新变量各自带有独特的专业含义。 住成分分析的作用是： •减少指标变量的个数 •解决多重相关性问题 步骤阅读 工具/原料 spss20.0 方法/步骤 >01 先在spss中准备好要处理的数据，然后在菜单栏上执行：analyse--dimension reduction--factor analyse。打开因素分析对话框 >02 我们看到下图就是因素分析的对话框，将要分析的变量都放入variables窗口中 >03 点击descriptives按钮，进入次级对话框，这个对话框可以输出我们想要看到的描述统计量 >04 因为做主成分分析需要我们看一下各个变量之间的相关，对变量间的关系有一个了解，所以需要输出相关，勾选coefficience，点击continue，返回主对话框 >05 回到主对话框，点击ok，开始输出数据处理结果 >06 你看到的这第一个表格就是相关矩阵，现实的是各个变量之间的相关系数，通过相关系数，你可以看到各个变量之间的相关，进而了解各个变量之间的关系 >07 第二个表格显示的主成分分析的过程，我们看到eigenvalues下面的total栏，他的意思就是特征根，他的意义是主成分影响力度的指标，一般以1为标准，如果特征根小于1，说明这个主因素的影响力度还不如一个基本的变量。所以我们只提取特征根大于1的主成分。如图所示，前三个主成分就是大于1的，所以我们只能说有三个主成分。另外，我们看到第一个主成分方差占所有主成分方差的46.9%，第二个占27.5%，第三个占15.0%。这三个累计达到了89.5%。

如何用ＳＰＳＳ软件进行主成分分析郭显光摘要文章指出《统计分析软件ＳＰＳＳ／ＰＣ＋》中主成分分析举例中的一处错误，比较了主成分分析和因子分析的异同，进而指出用ＳＰＳＳ软件不能直接进行主成分分析。作者根据主成分分析和因子分析的关系，提出一种先用ＳＰＳＳ的ＰＣ法得出因子载荷阵，然后求出特征向量，建立主成分模型的主成分分析计算方法。关键词主成分分析因子分析因子载荷阵特征向量一、关于主成分分析举例中的一处错误在ＳＰＳＳ的高级统计分析命令中，有因子分析的功能。例如，用ＦＡＣＴＯＲ命令可以进行因子分析，用ＥＸＴＲＡＣＴＩＯＮ子命令可以输出因子模型阵、变量被解释的因子方差、所提取的因子特征根和每个特征根代表的变量Ｘ总方差的百分比。在使用该命令时，可以指定提取因子的方法，包括ＰＣ（主成分法）、ＰＡＦ（主轴因子法）等等，也可以指定因子旋转方式。在童忠勇教授主编的《统计分析软件ＳＰＳＳ／ＰＣ＋》（陕西人民教育出版社，１９９０年）一书中，第２１３－２１５页给出了一个例子：某地区对下属１２个县人口调查，其中５个经济变量为：Ｘ１（住户数）、Ｘ２（学校数）、Ｘ３（就业人数）、Ｘ４（年收......(本文共计5页)

例子：我们简单粗暴直接上例子，我们带着问题看例子，一步一步来。（例子来自《应用多元统计》，王学民老师著）在制定服装标准的过程中，对128名成年男子的身材进行了测量，每人测得的指标中含有这样六项：身高（x1）、坐高（x2） 、胸围（x3） 、手臂长（x4） 、肋围（x5）和腰围（x6） 。第一步，对原始数据标准化（减去对应变量的均值，再除以其方差），并计算相关矩阵（或协方差矩阵）第二步，计算相关矩阵的特征值及特征向量。特征值从大到小排列，特征向量和特征值对应从大到小排列。前三个主成分分别为：第三步，根据累计贡献率(一般要求累积贡献率达到85%)可考虑取前面两个或三个主成分。第四步，解释主成分。观察系数发现第一主成分系数多为正数，且变量都与身材大小有关系，称第一主成分为（身材）大小成分；类似分析，称第二主成分为形状成分（或胖瘦成分），称第三主成分为臂长成分。可考虑取前两个主成分。由于λ6非常小，所以存在共线性关系：第五步，计算主成分得分。即对每一个样本数据标准化后带入第三步的主成分公式中，计算第一主成分得分，第二主成分得分。第六步，将主成分可画图聚类，将主成分得分看成新的因变量可线性回归。扩展资料设有m条n维数据，m个样本，对原始数据标准化（减去对应变量的均值，再除以其方差），每个样本对应p个变量，x＝（x∗1，x∗2，⋯，x∗n）′x＝（x1∗，x2∗，⋯，xn∗）′。1、求出自变量的协方差矩阵（或相关系数矩阵）；2、求出协方差矩阵（或性关系数矩阵）的特征值及对应的特征向量；3、将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵aa（为k＊p维）；4、Y＝aT∗XaT∗X（Y为k＊1维）即为降维到k维后的数据，此步算出每个样本的主成分得分；5、可将每个样本的主成分得分画散点图及聚类，或将主成分得分看成新的因变量，对其做线性回归等。

主成分分析的基本思想是设法将原来众多具有一定相关性（比如P个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标。主成分分析（Principal Component Analysis，PCA）， 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。在实际课题中，为了全面分析问题，往往提出很多与此有关的变量（或因素），因为每个变量都在不同程度上反映这个课题的某些信息。主成分分析首先是由K.皮尔森（Karl Pearson）对非随机变量引入的，尔后H.霍特林将此方法推广到随机向量的情形。信息的大小通常用离差平方和或方差来衡量。历史：1846年，Bracais提出的旋转多元正态椭球到“主坐标”上，使得新变量之间相互独立。皮尔逊（Pearson）（1901）、霍特林（Hotelling）（1933）都对主成分的发展做出了贡献，霍特林的推导模式被视为主成分模型的成熟标志。主成分分析被广泛应用于区域经济发展评价，服装标准制定，满意度测评，模式识别，图像压缩等许多领域。

主成分分析法原理如下：主成分分析， 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。在实际课题中，为了全面分析问题，往往提出很多与此有关的变量（或因素），因为每个变量都在不同程度上反映这个课题的某些信息。主成分分析首先是由K.皮尔森（Karl Pearson）对非随机变量引入的，尔后H.霍特林将此方法推广到随机向量的情形。信息的大小通常用离差平方和或方差来衡量。在用统计分析方法研究多变量的课题时，变量个数太多就会增加课题的复杂性。人们自然希望变量个数较少而得到的信息较多。在很多情形，变量之间是有一定的相关关系的，当两个变量之间有一定相关关系时，可以解释为这两个变量反映此课题的信息有一定的重叠。主成分分析是对于原先提出的所有变量，将重复的变量（关系紧密的变量）删去多余，建立尽可能少的新变量，使得这些新变量是两两不相关的，而且这些新变量在反映课题的信息方面尽可能保持原有的信息。设法将原来变量重新组合成一组新的互相无关的几个综合变量，同时根据实际需要从中可以取出几个较少的综合变量尽可能多地反映原来变量的信息的统计方法叫做主成分分析或称主分量分析，也是数学上用来降维的一种方法。

1.主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。在实证问题研究中，为了全面、系统地分析问题，我们必须考虑众多影响因素。这些涉及的因素一般称为指标，在统计分析中也称为变量。因为每个变量都不同程度地反映了所研究问题的某些信息，并且指标之间有一定的相关性，因而所得的统计数据反映的信息在一定程度上有重叠。在用统计方法研究多变量问题时，变量太多会增加计算量和增加分析问题的复杂性，人们希望在进行定量分析的过程中，涉及的变量较少，得到的信息量较多。 2.科学研究所涉及的课题往往比较复杂，是因为影响客观事物的因素多，需要考察的变量多。在大部分实际问题中，变量之间是有一定的相关性的，人们自然希望找到较少的几个彼此不相关的综合指标尽可能多地反映原来众多变量的信息 （1）主成分个数远远少于原有变量的个数  原有变量综合成少数几个因子之后，因子将可以替代原有变量参与数据建模，这将大大减少分析过程中的计算工作量。  （2）主成分能够反映原有变量的绝大部分信息  因子并不是原有变量的简单取舍，而是原有变量重组后的结果，因此不会造成原有 变量信息的大量丢失，并能够代表原有变量的绝大部分信息 （3）主成分之间应该互不相关 通过主成分分析得出的新的综合指标（主成分）之间互不相关，因子参与数据建模能够有效地解决变量信息重叠、多重共线性等给分析应用带来的诸多问题 （4）主成分具有命名解释性 一、对原始数据进行标准化 二、计算相关系数矩阵 三、计算特征值与特征向量 四、计算主成分载荷 五、各主成分的得分 主成分分析有以下几方面的应用： ①对原始指标进行综合：主成分分析的主要作用是在基本保留原始指标信息的前提下，以互不相关的较少个数的综合指标来反映原来指标所提供的信息。 ②探索多个原始指标对个体特征的影响：对于多个原始指标，求出主成分后，可以利用因子载荷阵的结构，进一步探索各主成分与多个原始指标之间的相互关系，分析各原始指标对各主成分的影响作用。 ③对样本进行分类：求出主成分后，如果各主成分的专业意义较为明显，可以利用各样品的主成分得分来进行样品的分类，可能就会与分类预测算法结合。 我们也可以思考下，每一个数据处理算法都不是孤立存在的，而是相互补充。

主成分分析是指通过将一组可能存在相关性的变量转换城一组线性不相关的变量，转换后的这组变量叫主成分。主成分分析步骤：1、对原始数据标准化，2、计算相关系数，3、计算特征，4、确定主成分，5、合成主成分。美信分析

1、主成分分析（Principal Component Analysis，PCA）， 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。 2、在实际课题中，为了全面分析问题，往往提出很多与此有关的变量（或因素），因为每个变量都在不同程度上反映这个课题的某些信息。 3、主成分分析首先是由K.皮尔森（Karl Pearson）对非随机变量引入的，尔后H.霍特林将此方法推广到随机向量的情形。信息的大小通常用离差平方和或方差来衡量。

主成分分析PCA是将多指标重新组合成一组新的无相关的几个综合指标，是根据实际需要从中选取尽可能少的综合指标，以达到尽可能多地反应原指标信息的分析方法。由于这种方法的第一主成分在所有的原始变量中方差最大，因而综合评价函数的方差总不会超过第一主成分的方差，所以该方法有一定的缺陷，且提取的主成分个数m通常应明显小于原始变量个数p（除非p本身较小），所以在变量较少时就不太适合先用主成分筛选变量，这个视数据情况而定 主成分分析实现步骤： 1、原始数据标准化，消除变量量纲不同的影响； 2、计算相关系数矩阵，计算特征值和对应的特征向量； 3、计算贡献率和累计贡献率。 疑问解答： 1.计算特征值的含义？    PCA的本质是对角化协方差矩阵，后对一个n x n的对称协方差矩阵分解求特征值和特征向量，就会产生n个n维正交基，每个正交基对应一个特征值，吧矩阵投影在这n个基上，此时的特征值的横就表示在该基上的投影长度，特征值越大，说明矩阵对应的特征向量上的方差越大，样本点越离散，越容易区分，包含的信息量越多 2.主成分系数   根据主成分系数判断主成分主要依赖的几个变量，根据主要依赖变量总结该主成分（综合指标）代表的性质 3.主成分得分   主成分得分其实就是降维之后数据，可对降维之后的主成分得分进行聚类分析，得到相似的类别群体

主成分分析(PCA)是最常见的降维算法。 在PCA中，我们要做的是找到一个方向向量（Vector direction），当我们把所有的数据都投射到该向量上时，我们希望投射平均均方误差能尽可能地小。方向向量是一个经过原点的向量，而投射误差是从特征向量向该方向向量作垂线的长度。 下面给出主成分分析问题的描述： 问题是要将 维数据降至 维，目标是找到向量 , ,..., 使得总的投射误差最小。主成分分析与线性回顾的比较： 主成分分析与线性回归是两种不同的算法。主成分分析最小化的是投射误差（Projected Error），而线性回归尝试的是最小化预测误差。线性回归的目的是预测结果，而主成分分析不作任何预测。 上图中，左边的是线性回归的误差（垂直于横轴投影），右边则是主要成分分析的误差（垂直于红线投影）。 PCA 减少 维到 维： 第一步是均值归一化。我们需要计算出所有特征的均值，然后令 。如果特征是在不同的数量级上，我们还需要将其除以标准差 。 第二步是计算协方差矩阵（covariance matrix） ： 第三步是计算协方差矩阵 的特征向量（eigenvectors） PCA算法可以用在降维、降噪、可视化等方面。

什么是主成分分析法 主成分分析法： 英文全名 Principal Component Analysis 简称 PCA ，由名字就可以看出来，这是一个挑重点分析的方法。主成分分析 法是通过 恰当 的数学变换 ，使新变量—— 主成分成为原变量 的线性 组合 ，并选 取少数 几个在变差总信息量中 比例较 大的主成分来分析 事物 的一种方法 。 主成分在变差信息量中的比例越大 ， 它在综合评价 中的作用就越大 思想： 整体思想就是化繁为简，抓住问题关键，也就是降维思想。当然，既然是抓住关键，那么自然就是以牺牲精度为代价。 解决问题： 因为每个变量都在不同程度上反映了所研究问题的某些信息，并且指标之间彼此有一定的相关性，因而所得的统计数据反映的信息在一定程度上有重叠。 在用统计方法研究多变量问题时，变量太多会增加计算量和分析问题的复杂性。 人们希望在进行定量分析过程中，涉及的变量较少，得到的信息量较多。为了尽可能的减少冗余和噪音，一般情况可以从相关变量中选择一个，或者把几个相关变量综合为一个变量作为代表，用少数变量来代表所有变量。 原理： 因为评估所涉及的众多变量之间既然有一定的相关性，就必然存在着起支配作用的因素。根据这一点，通过对原始变量和相关矩阵的内部结构的关系研究 ，找出影响目标变量某一要素的几个综合指标，使综合指标为原来变量的线性拟合。 这样，综合指标不仅保留了原始变量的主要信息，且彼此间不相关，又比原始变量具有某些更优越的性质，使得我们在研究复杂目标变量评估问题时，容易抓住主要矛盾。 形象理解 比如，某学籍数据，有两列 M 和 F ，其中M 列的取值是如果学生为男性，则取值为 1 如果为女性，则取值为 0 。F 列，如果为男性则取值为 0 否则取值为一。 由这两种关系可以知道，这两列数据是强相关的。只要保留一列，就能够完全还原另外一列。  当然，不要局限于数据删除，还有数据转换，删除可以理解为在此方法中的一种方式。 当然，上述情况在真实数据中是不可能出现的。这里只是借此介绍一下这种思维。真实情况中， 我们需要考虑删除哪一列信息可以使得损失最小？或者是通过变换数据就能使得损失信息更小？又如何度量信息的丢失量？原始数据的处理降维有哪些步骤？ 坐标示例： 我们来看下面这张图，这是一个椭圆的点阵。椭圆上面有一个长轴和一个短轴。现在我们要表示点阵的主要变化趋势，就可以以长短轴（或者平行于长短轴）构建新的坐标系。在极端的情况下，短轴变成了一个点，那么长轴就能代表这个点阵的趋势和特点。这样，一个二维数据，就变成了一维。 基础知识储备 内积与投影： 内积运算，将两个向量映射为一个实数。其几何意义就是 向量 A ，在向量 B 的投影长度。（下图是以二维向量为例，多维空间依然是如此。） 上式中，B 为单位向量 基 ： 同样以上图 B为例，B向量为（3，2）其表示的其实为在 X 轴的投影值为3 ，在Y轴的投影值 为 2 。这其实加入了一个隐含信息，就是本坐标轴 分别是以 X Y轴为方向的单位向量。这里的 X Y 轴其实就是我们所提到的 基。只不过一般默认为 （1，0）和（0，1） 所以呢，要描述一组向量，首先是要确定一组基。然后求这个向量在这组基中的投影即可。对基的要求是线性无关，并不一定非要正交。但是因为正交基有较好的性质，所以一般情况我们都是用正交基。 基变换 上面我们了解了基的原理。如果同样把（3，2）放到新基里面描述，那就是把向量和新基相乘即可。 如果是在描述中，有多个基呢？那就是与基阵相乘。 如何实现降维 上面的思路，我们都清楚了。那么我们如何通过基变换来降维呢？这里我们来举个例子。假设我们有一个矩阵如下。 为了处理方面，我们现在把每个字段都减去字段平均值，那么就变成了如下所示 表示在坐标上如下图 那么，我们现在想用一维坐标来表示，而且要求尽可能的保留原来的信息，我们需要如何选择方向（基）呢？（二维降一维） 思路就是，希望投影后的值尽可能的分散，避免重合。 协方差： 在概率论与统计学中，协方差用于衡量两个随机变量的联合变化程度。而方差则是协方差的一种特殊情况，即变量与自身的协方差。 期望：在概率论和统计学中，一个离散性随机变量的期望值（或数学期望，亦简称期望，物理学中称为期待值）是试验中每次可能的结果乘以其结果概率的总和。比如骰子的期望值为 1* 1/6 +2*1/6 + …+ 6*1/6 = 3.5 协方差公式为： 其中，E(X) = u E(Y) = v 协方差表示的是两个变量的总体的误差 ，这与只表示一个变量误差的方差不同。 如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。 如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。如果X 与Y 是统计独立的，那么二者之间的协方差就是0 流程和步骤 第一步：标准化 把输入数据集变量的范围标准化，以使它们中的每一个均可以大致成比例的分析。简单说，就是要把存在较大差异的数据转变为可比较的数据。比如把 0-100 的变量转化为 0-1 的变量。这一步一般可以通过减去平均值，再除以每个变量值的标准差来完成。标准差公式如下 那么常用的标准化指标变量公式可为 第二步：协方差矩阵计算 这一步的目的是：了解输入数据集的变量是如何相对于平均值变化的。或者换句话说，是为了查看它们之间是否存在任何关系。因为有时候，变量间高度相关是因为它们包含大量的信息。因此，为了识别这些相关性，我们进行协方差矩阵计算。 协方差矩阵是p×p对称矩阵（其中p是维数），其所有可能的初始变量与相关联的协方差作为条目。 好了，现在我们知道协方差矩阵只不过是一个表，汇总了所有可能配对的变量间相关性。下面就是计算协方差矩阵的特征向量和特征值，以筛选主要成分。 第三步：计算协方差矩阵的特征向量和特征值，用以识别主成分 特征向量和特征值都是线性代数概念，需要从协方差矩阵计算得出，以便确定数据的主成分。开始解释这些概念之前，让我们首先理解主成分的含义 主成分是由初始变量的线性组合或混合构成的新变量。该组合中新变量（如主成分）之间彼此不相关，且大部分初始变量都被压缩进首个成分中。所以，10维数据会显示10个主成分，但是PCA试图在第一个成分中得到尽可能多的信息，然后在第二个成分中得到尽可能多的剩余信息，以此类推。 例如，假设你有一个10维数据，你最终将得到的内容如下面的屏幕图所示，其中第一个主成分包含原始数据集的大部分信息，而最后一个主成分只包含其中的很少部分。因此，以这种方式组织信息，可以在不丢失太多信息的情况下减少维度，而这需要丢弃携带较少信息的成分。 在这里，方差和信息间的关系是，线所承载的方差越大，数据点沿着它的分散也越大，沿着线的散点越多，它所携带的信息也越多。简单地说，只要把主成分看作是提供最佳角度来观察和评估数据的新轴，这样观测结果之间的差异就会更明显。 协方差矩阵的特征向量实际上是方差最多的轴的方向（或最多的信息），我们称之为主成分。通过特征值的顺序对特征向量进行排序，从最高到最低，你就得到了按重要性排序的主成分。 第四步：特征向量 正如我们在上一步中所看到的，计算特征向量并按其特征值依降序排列，使我们能够按重要性顺序找到主成分。在这个步骤中我们要做的，是选择保留所有成分还是丢弃那些重要性较低的成分（低特征值），并与其他成分形成一个向量矩阵，我们称之为特征向量。 因此，特征向量只是一个矩阵，其中包含我们决定保留的成分的特征向量作为列。这是降维的第一步，因为如果我们选择只保留n个特征向量（分量）中的p个，则最终数据集将只有p维。 第五步：沿主成分轴重新绘制数据 在前面的步骤中，除了标准化之外，你不需要更改任何数据，只需选择主成分，形成特征向量，但输入数据集时要始终与原始轴统一（即初始变量）。 这一步，也是最后一步，目标是使用协方差矩阵的特征向量去形成新特征向量，将数据从原始轴重新定位到由主成分轴中（因此称为主成分分析）。这可以通过将原始数据集的转置乘以特征向量的转置来完成。 优缺点 优点：化繁为简，降低了计算量。 缺点：一定程度上损失了精度。并且只能处理“线性问题”，这是一种线性降维技术、 总结 假设我们拿到了一份数据集，有m个样本，每个样本由n个特征（变量）来描述，那么我们可以按照以下的步骤进行降维： 1、将数据集中的每个样本作为列向量，按列排列构成一个n行m列的矩阵； 2、将矩阵的每一个行向量（每个变量）都减去该行向量的均值，从而使得新行向量的均值为0，得到新的数据集矩阵X； 3、求X的协方差矩阵，并求出协方差矩阵的特征值λ和单位特征向量e； 4、按照特征值从大到小的顺序，将单位特征向量排列成矩阵，得到转换矩阵P，并按PX计算出主成分矩阵； 5、用特征值计算方差贡献率和方差累计贡献率，取方差累计贡献率超过85%的前k个主成分，或者想降至特定的k维，直接取前k个主成分。 参考文章： https://blog.csdn.net/Murray_/article/details/79945148 参考文章： https://www.cnblogs.com/Luv-GEM/p/10765574.html 参考文章： https://www.ssffx.com/wangzhanjianshe/40715.html

在前面我们学习了一种有监督的降维方法——线性判别分析（Linear Dscriminant Analysis，LDA）。LDA不仅是一种数据压缩方法还是一种分类算法，LDA将一个高维空间中的数据投影到一个低维空间中去，通过最小化投影后各个类别的类内方差和类间均值差来寻找最佳的投影空间。 本文介绍的主成分分析（Principe Component Analysis，PCA）也是一种降维技术，与LDA不同的是，PCA是一种无监督降维技术，因此PCA的主要思想也与LDA不同。LDA是一种有监督的分类兼降维技术，因此其最大化均值差最小化类内差的思想够保证在降维后各个类别依然能够很好地分开。但PCA只用来降维而无需分类，因此PCA需要考虑的是如何在降维压缩数据后尽可能的减少数据信息的损失。在PCA中使用协方差来表示信息量的多少，至于为什么能这么表示后面再进行介绍。下面我们从一些基本的线代知识开始。 在进行数据分析时我们的数据样本经常被抽象为矩阵中的一组向量，了解一些线代基础知识理解PCA非常重要，但在这里我们并不准备也不可能将所有的线代知识都罗列以便，因此这里我们仅会复习一些对理解PCA较为重要的东西。更多线代的内容可参考下面几个链接： 为了方便，我们这里以一个二维平面为例。 在前面我们说了，在数据处理时我们经常讲一个样本数据当作一个向量。在二维平面中，一个向量从不同的角度有不同的理解方式，例如对于向量 (-2, 3) T ： 在我们描述任何东西的时候其实都是选择了一个参照系的，也即事物都是相对的，最简单的运动与静止（以静止的事物为参照），说一个有点意思的——人，人其实也是放在一个参考系中的，我们可以将其理解为生物种类系统，抛开这个大的系统去独立的定义人是很难让人理解的。向量也是这样的，虽然我们前面没有指明，但是上面的向量其实是在一个默认坐标系（或称为空间）中的，也即x，y轴，但是在线性代数中我们称其为基。在线代中任何空间都是由一组线性无关的（一维空间由一个基组成）基向量组成。这些基向量可以组成空间中的任何向量。 现在假设我们有如下一个矩阵相乘的式子： 因此，上面的例子可以有两种理解方式： （1）如果我们将值全为1对角方阵视为标准坐标系，则它表示在 i=(1, -2) T 和 j=(3, 0) T 这组基底下的坐标 (-1, 2) T 在基底 (1, 0) T 、(0, 1) T 下的坐标，如下： 当我们讨论向量 (-1, 2) T 时，都隐含了一个默认的基向量假设：沿着x轴方向长度为1的 i，沿着y轴长度为1的j。 但是，(-1, 2) T 可以是任何一组基底下的向量。例如，他可能是i"=(2,1) T , j"=(-1, 1) T 这组基下的一个向量。此时他在我们默认坐标系 i=(1, 0) T ，j=(0, 1) T 下的计算过程如下： 我们可以从另一个角度理解基地变换的过程：我们先 误认为 (-1, 2) T 是坐标系i=(1, 0) T ，j=(0, 1) T 下的坐标，此时我们通过线性变换[[2, -1], [1, 1]]（每个嵌套列表看做一行）把坐标轴i，j（基坐标）分别变换到了新的位置 i1=(2, 1) T , j1=(-1, 1) T （他们也是用默认坐标系表示的），即[2, -1], [1, 1]]。此时我们把“误解”转换成了真正的向量。如下： 在上面我们说了矩阵是一种变换，现在我们继续从这个角度来理解特征值和特征向量。为了方便理解，我们在这里做一个类比——将变换看作物理中的作用力。我们知道一个力必须有速度和方向，而矩阵对一个向量施加的变换也是一样的。考虑一下特征向量的定义： 上面介绍了一些基本的线性代数相关的知识，下面开始介绍PCA的原理。 上面我们讨论了选择不同的基可以对同样一组数据给出不同的表示，而且如果基的数量少于向量本身的维数，则可以达到降维的效果。但是我们还没有回答一个最最关键的问题：如何选择基才是最优的。或者说，如果我们有一组N维向量，现在要将其降到K维（K小于N），那么我们应该如何选择K个基才能最大程度保留原有的信息？ 要完全数学化这个问题非常繁杂，这里我们用一种非形式化的直观方法来看这个问题。 为了避免过于抽象的讨论，我们仍以一个具体的例子展开。假设我们的数据由五条记录组成，将它们表示成矩阵形式： 其中每一列为一条数据记录，而一行为一个字段。为了后续处理方便，我们首先将每个字段内所有值都减去字段均值，其结果是将每个字段都变为均值为0（这样做的道理和好处后面会看到）。中心化的数据为： 通过上一节对基变换的讨论我们知道，这个问题实际上是要在二维平面中选择一个方向，将所有数据都投影到这个方向所在直线上，用投影值表示原始记录。这是一个实际的二维降到一维的问题。 那么如何选择这个方向（或者说基）才能尽量保留最多的原始信息呢？一种直观的看法是：希望投影后的投影值尽可能分散。 以上图为例，可以看出如果向x轴投影，那么最左边的两个点会重叠在一起，中间的两个点也会重叠在一起，于是本身四个各不相同的二维点投影后只剩下两个不同的值了，这是一种严重的信息丢失，同理，如果向y轴投影最上面的两个点和分布在x轴上的两个点也会重叠。所以看来x和y轴都不是最好的投影选择。我们直观目测，如果向通过第一象限和第三象限的斜线投影，则五个点在投影后还是可以区分的。 下面，我们用数学方法表述这个问题。 对于上面二维降成一维的问题来说，找到那个使得方差最大的方向就可以了。不过对于更高维，还有一个问题需要解决。考虑三维降到二维问题。与之前相同，首先我们希望找到一个方向使得投影后方差最大，这样就完成了第一个方向的选择，继而我们选择第二个投影方向。 如果我们还是单纯只选择方差最大的方向，很明显，这个方向与第一个方向应该是“几乎重合在一起”，显然这样的维度是没有用的，因此，应该有其他约束条件。 从直观上说，让两个字段尽可能表示更多的原始信息，我们是不希望它们之间存在（线性）相关性的，因为相关性意味着两个字段不是完全独立，必然存在重复表示的信息。 可以看到，在字段均值为0的情况下，两个字段的协方差简洁的表示为其内积除以元素数m。 当协方差为0时，表示两个字段完全独立。为了让协方差为0，我们选择第二个基时只能在与第一个基正交的方向上选择。因此最终选择的两个方向一定是正交的。 至此，我们得到了降维问题的优化目标： 将一组N维向量降为K维（K大于0，小于N），其目标是选择K个单位（模为1）正交基，使得原始数据变换到这组基上后，各字段两两间协方差为0，而字段的方差则尽可能大（在正交的约束下，取最大的K个方差）。 上面我们导出了优化目标，但是这个目标似乎不能直接作为操作指南（或者说算法），因为它只说要什么，但根本没有说怎么做。所以我们要继续在数学上研究计算方案。 我们看到，最终要达到的目的与字段内方差及字段间协方差有密切关系。因此我们希望能将两者统一表示，仔细观察发现，两者均可以表示为内积的形式，而内积又与矩阵相乘密切相关。于是我们来了灵感： 假设我们只有a和b两个字段，那么我们将它们按行组成矩阵X： 然后我们用X乘以X的转置，并乘上系数1/m： 根据矩阵相乘的运算法则，这个结论很容易被推广到一般情况： 设我们有m个n维数据记录，将其按列排成n乘m的矩阵X，设C=1/m(XX T )，则C是一个对称矩阵，其对角线分别个各个字段的方差，而第i行j列和j行i列元素相同，表示i和j两个字段的协方差。 根据上述推导，我们发现要达到优化目前，等价于将协方差矩阵对角化：即除对角线外的其它元素化为0，并且在对角线上将元素按大小从上到下排列，这样我们就达到了优化目的 。这样说可能还不是很明晰，我们进一步看下原矩阵与基变换后矩阵协方差矩阵的关系： 设原始数据矩阵X对应的协方差矩阵为C，而P是一组基按行组成的矩阵，设Y=PX，则Y为P对X做基变换后的数据。设Y的协方差矩阵为D，我们推导一下D与C的关系： 现在所有焦点都聚焦在了协方差矩阵对角化问题上，有时，我们真应该感谢数学家的先行，因为矩阵对角化在线性代数领域已经属于被玩烂了的东西，所以这在数学上根本不是问题。 由上文知道，协方差矩阵C是一个是对称矩阵，在线性代数上，实对称矩阵有一系列非常好的性质： 1）实对称矩阵不同特征值对应的特征向量必然正交。 2）设特征向量λ重数为r，则必然存在r个线性无关的特征向量对应于λ，因此可以将这r个特征向量单位正交化。 则对协方差矩阵C有如下结论： 以上结论不再给出严格的数学证明，对证明感兴趣的朋友可以参考线性代数书籍关于“实对称矩阵对角化”的内容。 到这里，我们发现我们已经找到了需要的矩阵P：P = E T . P是协方差矩阵的特征向量单位化后按行排列出的矩阵，其中每一行都是C的一个特征向量。如果设P按照Λ中特征值的从大到小，将特征向量从上到下排列，则用P的前K行组成的矩阵乘以原始数据矩阵X，就得到了我们需要的降维后的数据矩阵Y。 PCA的特征向量的求解除了使用上述最大化方差的矩阵分解方法，还可以使用最小化损失法，具体可参见： 机器学习中的数学(4)-线性判别分析（LDA）, 主成分分析(PCA) 。 总结一下PCA的算法步骤： 设有m条n维数据。 LDA和PCA都用于降维，两者有很多相同，也有很多不同的地方，因此值得好好的比较一下两者的降维异同点。 首先我们看看相同点： 我们接着看看不同点： 参考： PCA的数学原理 线性代数的直觉 线性判别分析LDA原理总结

ENVI主成分分析是通过Principle Components选项生成互不相关的输出波段，达到隔离噪声和减少数据集的维数的方法。 由于多波段数据经常是高度相关的，主成分变换寻找一个原点在数据均值的新的坐标系统，通过坐标轴的旋转来使数据的方差达到最大，从而生成互不相关的输出波段。 主成分（PC）波段是原始波谱波段的线性合成，它们之间是互不相关的。可以计算输出主成分波段（与输入的波谱波段数相同）。第一主成分包含最大的数据方差百分比，第二主成分包含第二大的方差，以此类推，最后的主成分波段由于包含很小的方差（大多数由原始波谱的噪声引起），因此显示为噪声。由于数据的不相关，主成分波段可以生成更多种颜色的。 具体操作： 打开ENVI——File——Open Image File——选择一个影像文件添加 RGB Color——设置RGB为321（不同的影像最佳波段组合不一致）—— No display——New display——Load RGB 点击Transform——Principal Components（主成分分析）——Forward PC Rotation（正向主成分旋转）——Computer New Statistics and Rotate——选择影像文件，设置输出路径，ok，进入漫长等待中...... 之后同样设置Gray Scale和RGB Color——Display——New Display——Load，就会显示主成分分析之后的影像； 右击#1——Link Displays——选择需要连接的两个窗口，点击ok ，方便对比。

主成分分析实例：一个 平均值 为(1, 3)、标准差在(0.878, 0.478)方向上为3、在其正交方向为1的 高斯分布 。这里以黑色显示的两个向量是这个分布的 协方差矩阵 的 特征向量 ，其长度按对应的 特征值 之平方根为比例，并且移动到以原分布的平均值为原点。 在多元统计分析中， 主成分分析 （英语： Principal components analysis ， PCA ）是一种分析、简化数据集的技术。主成分分析经常用于减少数据集的 维数 ，同时保持数据集中的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。但是，这也不是一定的，要视具体应用而定。由于主成分分析依赖所给数据，所以数据的准确性对分析结果影响很大。 主成分分析由 卡尔·皮尔逊 于1901年发明，用于分析数据及建立数理模型。其方法主要是通过对 协方差矩阵 进行特征分解，以得出数据的主成分（即 特征向量 ）与它们的权值（即 特征值 [3] ）。PCA是最简单的以特征量分析多元统计分布的方法。其结果可以理解为对原数据中的 方差 做出解释：哪一个方向上的数据值对方差的影响最大？换而言之，PCA提供了一种降低数据 维度 的有效办法；如果分析者在原数据中除掉最小的 特征值 所对应的成分，那么所得的低维度数据必定是最优化的（也即，这样降低维度必定是失去讯息最少的方法）。主成分分析在分析复杂数据时尤为有用，比如 人脸识别 。 PCA是最简单的以特征量分析多元统计分布的方法。通常情况下，这种运算可以被看作是揭露数据的内部结构，从而更好的解释数据的变量的方法。如果一个多元数据集能够在一个高维数据空间坐标系中被显现出来，那么PCA就能够提供一幅比较低维度的图像，这幅图像即为在讯息最多的点上原对象的一个‘投影"。这样就可以利用少量的主成分使得数据的维度降低了。 PCA跟因子分析密切相关，并且已经有很多混合这两种分析的统计包。而真实要素分析则是假定底层结构，求得微小差异矩阵的特征向量。 PCA，Principle Component Analysis，即主成分分析法，是特征降维的最常用手段。顾名思义，PCA 能从冗余特征中提取主要成分，在不太损失模型质量的情况下，提升了模型训练速度。 如上图所示，我们将 样本到红色向量的距离 称作是投影误差（Projection Error）。以二维投影到一维为例，PCA 就是要找寻一条直线，使得各个特征的投影误差足够小，这样才能尽可能的保留原特征具有的信息。 因为PCA仅保留了特征的主成分，所以PCA是一种有损的压缩方式. 从 PCA 的执行流程中，我们知道，需要为 PCA 指定目的维度 k 。如果降维不多，则性能提升不大；如果目标维度太小，则又丢失了许多信息。 由于 PCA 减小了特征维度，因而也有可能带来过拟合的问题。PCA 不是必须的，在机器学习中，一定谨记不要提前优化，只有当算法运行效率不尽如如人意时，再考虑使用 PCA 或者其他特征降维手段来提升训练速度。 降低特征维度不只能加速模型的训练速度，还能帮我们在低维空间分析数据，例如，一个在三维空间完成的聚类问题，我们可以通过 PCA 将特征降低到二维平面进行可视化分析。 根据 13 个特征对葡萄酒分类（推销给不同品味的人），利用 PCA ，可以将数据从 13 维降到 2 维进行可视化。 array([[1.369e+01, 3.260e+00, 2.540e+00, 2.000e+01, 1.070e+02, 1.830e+00, 5.600e-01, 5.000e-01, 8.000e-01, 5.880e+00, 9.600e-01, 1.820e+00, 6.800e+02], [1.269e+01, 1.530e+00, 2.260e+00, 2.070e+01, 8.000e+01, 1.380e+00, 1.460e+00, 5.800e-01, 1.620e+00, 3.050e+00, 9.600e-01, 2.060e+00, 4.950e+02], [1.162e+01, 1.990e+00, 2.280e+00, 1.800e+01, 9.800e+01, 3.020e+00, 2.260e+00, 1.700e-01, 1.350e+00, 3.250e+00, 1.160e+00, 2.960e+00, 3.450e+02]]) array([[ 0.87668336, 0.79842885, 0.64412971, 0.12974277, 0.48853231, -0.70326216, -1.42846826, 1.0724566 , -1.36820277, 0.35193216, 0.0290166 , -1.06412236, -0.2059076 ], [-0.36659076, -0.7581304 , -0.39779858, 0.33380024, -1.41302392, -1.44153145, -0.5029981 , 1.70109989, 0.02366802, -0.84114577, 0.0290166 , -0.73083231, -0.81704676], [-1.69689407, -0.34424759, -0.32337513, -0.45327855, -0.14531976, 1.24904997, 0.31964204, -1.52069698, -0.4346309 , -0.75682931, 0.90197362, 0.51900537, -1.31256499]]) array([0.36884109, 0.19318394, 0.10752862, 0.07421996, 0.06245904, 0.04909 , 0.04117287, 0.02495984, 0.02308855, 0.01864124, 0.01731766, 0.01252785, 0.00696933]) array([[-2.17884511, -1.07218467], [-1.80819239, 1.57822344], [ 1.09829474, 2.22124345]]) LogisticRegression(C=1.0, class_weight=None, dual=False, fit_intercept=True, intercept_scaling=1, max_iter=100, multi_class="ovr", n_jobs=1, penalty="l2", random_state=0, solver="liblinear", tol=0.0001, verbose=0, warm_start=False) array([1, 3, 2, 1, 2]) array([[14, 0, 0], [ 1, 15, 0], [ 0, 0, 6]]) 准确率(精度)为 : 0.9722222222222222 参考： https://zh.wikipedia.org/wiki/主成分分析 《 斯坦福机器学习》 《机器学习 A-Z》

最近在 3d face 模型生成研究中，经常使用PCA，所以就把PCA的学习记录了下来。主成分分析（PCA， Principal Component Analysis）为我们提供了一种压缩数据的方式，我们也可以将它看作学习数据表示的无监督学习算法。PCA学习一种比原始维度更低的表示，也学习了一种元素之间没有线性相关的表示。我们知道一个经典的无监督学习任务就是找到数据的最佳表示。最佳表示可以是在比本身表示的信息更简单或者更易访问受到一些惩罚火或限制的情况下，尽可能多地保留原始数据的信息。那么PCA就为我们提供了这样一种方法。 PCA(Principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据降维算法。PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。PCA的工作就是从原始的空间中顺序地找一组相互正交的坐标轴，新的坐标轴的选择与数据本身是密切相关的。其中，第一个新坐标轴选择是原始数据中方差最大的方向，第二个新坐标轴选取是与第一个坐标轴正交的平面中使得方差最大的，第三个轴是与第1,2个轴正交的平面中方差最大的。依次类推，可以得到n个这样的坐标轴。通过这种方式获得的新的坐标轴，我们发现，大部分方差都包含在前面k个坐标轴中，后面的坐标轴所含的方差几乎为0。于是，我们可以忽略余下的坐标轴，只保留前面k个含有绝大部分方差的坐标轴。事实上，这相当于只保留包含绝大部分方差的维度特征，而忽略包含方差几乎为0的特征维度，实现对数据特征的降维处理。 我们有样本X和样本Y，那么可以得到样本X的均值： 样本X方差： 由以上的基础公式我们可以得出以下的结论： 协方差为正时，说明X和Y是正相关关系；协方差为负时，说明X和Y是负相关关系；协方差为0时，说明X和Y是相互独立，互不相关。Cov(X,X)就是X的方差。当样本是n维数据时，它们的协方差实际上是协方差矩阵(对称方阵)。例如，对于3维数据(x,y,z)，计算它的协方差就是： 其实协方差矩阵和散度矩阵关系密切，散度矩阵就是协方差矩阵乘以（总数据量-1）。因此它们的 特征值 和 特征向量 是一样的。这里值得注意的是，散度矩阵是 SVD奇异值分解 的一步，因此PCA和SVD是有很大联系 其中，λ是特征向量v对应的特征值，一个矩阵的一组特征向量是一组正交向量。 其中，Q是矩阵A的特征向量组成的矩阵，而矩阵Σ则是一个对角阵，对角线上的元素就是特征值。 假设A是一个m*n的矩阵，那么得到的U是一个 m*m 的方阵，U里面的正交向量被称为左奇异向量。Σ是一个 m*n 的矩阵，Σ除了对角线其它元素都为0，对角线上的元素称为奇异值。 Vt (t在右上角)是v的转置矩阵，是一个 n*n 的矩阵，它里面的正交向量被称为右奇异值向量。而且一般来讲，我们会将Σ上的值按从大到小的顺序排列。 降到k维 注：这里除或不除样本数量n或n-1,其实对求出的特征向量没有影响。 的特征值与特征向量。 注：为什么使用： 降到k维 ,当样本数多、样本特征数也多的时候，这个计算还是很大的。当我们用到SVD分解协方差矩阵的时候，SVD有两个好处： 对照就会发现，结果是不一样的。sklearn中的PCA是通过svd_flip函数实现的，sklearn对奇异值分解结果进行了一个处理，因为 ui * σi * vi=(-ui) * σi * (-vi) ，也就是u和v同时取反得到的结果是一样的，而这会导致通过PCA降维得到不一样的结果（虽然都是正确的）。具体了解可以自己分析一下sklearn中关于PCA的源码。 对于PCA可以做什么，对应于不同的业务，有不同的使用场景。 例如我最早接触时，用来分析2D人脸的图片矩阵化后里面的主要成分，提取出关键的维度，使用低维度的矩阵来表示人脸的特征。 当然对应于其他的数据，也是可以使用PCA的，例如在一个向量化好的用户信息矩阵中，需要提取出关键的维度来作为特征描写。所以他的使用场景就类似于他的名字，分析矩阵里面的主要成分，但是维度具体取多少，需要按照自己的数据来计算，也许需要多次的验证。

主成分分析的前提条件是原始变量之间有一定的相关性 。主成分分析操作步骤1、为消除量纲的影响，先对数据进行标准化处理；2、计算相关系数：一般认为各变量之间的相关系数大于0.3较好；3、KMO检验和Barlett（巴特利）检验；（1）KMO取样适切性量数>=0.6较适宜（这里也是判断能不能用主成分分析的结果的重要指标。）并非所有的数据都适用于主成分分析的。主成分分析本身并不是目的, 实际应用中主成分分析往往是一种手段。目的是通过主成分分析简化数据结构, 在此基础上进行进一步的分析。因此, 使用主成分分析的前提条件是原始数据各个变量之间应有较强的线性相关关系。如果原始变量之间的线性相关程度很小, 它们之间不存在简化的数据结构, 这时进行主成分分析实际是没有意义的。所以, 应用主成分分析时, 首先要对其适用性进行统计检验。主成分分析检验方法有巴特莱特球性检验，KMO检验等，本文主要介绍KMO检验。

主成分分析（Principal Component Analysis，PCA）是一种常用的多元统计分析方法，其优缺点如下：优点：降维效果显著：PCA可以将原始数据集的维度降低，从而方便数据的可视化和处理。减少冗余信息：PCA可以从原始数据中提取出主要的特征，减少冗余信息的影响。去除噪声：PCA可以通过特征值分解的方法去除噪声，提高数据的准确性和可靠性。提高计算效率：PCA通过对协方差矩阵进行特征值分解，可以将大规模数据计算转化为少量特征向量的计算，从而提高计算效率。缺点：对异常值敏感：PCA对异常值比较敏感，可能会导致提取出的主成分偏离真实情况。对数据分布的假设：PCA假设数据符合高斯分布，如果数据分布与该假设不符，则可能导致分析结果不准确。解释性不足：PCA提取的主成分可能难以解释其含义，需要通过额外的分析和解释才能得出结论。受样本量和变量个数限制：PCA的应用需要考虑样本量和变量个数的限制，如果样本量不足或变量过多，可能会导致提取的主成分不具有代表性。

主成分分析用于对数据信息进行浓缩，比如总共有20个指标值，是否可以将此20项浓缩成4个概括性指标。第一步:判断是否进行主成分(pca)分析;判断标准为KMO值大于0.6.第二步:主成分与分析项对应关系判断.第三步：在第二步删除掉不合理分析项后,并且确认主成分与分析项对应关系良好后,则可结合主成分与分析项对应关系,对主成分进行命名.spssau主成分分析操作共有三步：①选择【进阶方法】--【主成分分析】②将分析项拖拽到右侧分析框③点击开始分析请点击输入图片描述默认提供主成分得分和综合得分，分析前勾选“成分得分”、“综合得分”即可。

主成分分析最主要的用途在于“降维”. 举个例子,你要做一项分析,选中了20个指标,你觉得都很重要,但是20个指标对于你的分析确实太过繁琐,这时候,你就可以采用主成分分析的方法进行降维. 20个指标之间会有这样那样的相互关系,相互之间会有影响,通过主成分分析后,得到4个或者5个主成分指标.此时,这几个主成分指标既涵盖了你20个指标中的绝大部分信息,又让你的分析得到了简化（从20维降到4、5维）,简化了分析过程,增加了结果精度.

主成分分析和因子分析都是信息浓缩的方法，即将多个分析项信息浓缩成几个概括性指标。因子分析在主成分基础上，多出一项旋转功能，该旋转目的即在于命名，更容易解释因子的含义。如果研究关注于指标与分析项的对应关系上，或是希望将得到的指标进行命名，SPSSAU建议使用因子分析。主成分分析目的在于信息浓缩（但不太关注主成分与分析项对应关系），权重计算，以及综合得分计算。如希望进行排名比较，计算综合竞争力，可使用主成分分析。SPSSAU可直接使用这两种方法，支持自动保存因子得分及综合得分，不需要手动计算。

层次分析法：主成分分析和层次分析两者计算权重的不同，AHP层次分析法是一种定性和定量的计算权重的研究方法，采用两两比较的方法，建立矩阵，利用了数字大小的相对性，数字越大越重要权重会越高的原理，最终计算得到每个因素的重要性。主成分分析（1）方法原理及适用场景主成分分析是对数据进行浓缩，将多个指标浓缩成为几个彼此不相关的概括性指标（主成分），从而达到降维的目的。主成分分析可同时计算主成分权重及指标权重。（2）操作步骤使用SPSSAU【进阶方法-主成分分析】。如果计算主成分权重，需要用到方差解释率。具体加权处理方法为：方差解释率除累积方差解释率。比如本例中，5个指标共提取了2个主成分：主成分1的权重：45.135%/69.390%=65.05%主成分2的权重：24.254%/69.390%=34.95%如果是计算指标权重，可直接查看“线性组合系数及权重结果表格”，SPSSAU自动输出了各指标权重占比结果。其计算原理分为三步：第一：计算线性组合系数矩阵，公式为：loading矩阵/Sqrt(特征根)，即载荷系数除以对应特征根的平方根；第二：计算综合得分系数，公式为：累积（线性组合系数*方差解释率）/累积方差解释率，即上一步中得到的线性组合系数分别与方差解释率相乘后累加，并且除以累积方差解释率；第三：计算权重，将综合得分系数进行归一化处理即得到各指标权重值。

KMO检验用于检查变量间的偏相关性 一般认为该值大于0.9时效果最佳 0.7以上尚可，0.6时效果较差 Bartlett"s球形检验用于检验相关阵是否是单位阵 P<0.01说明指标间并非独立，取值是有关系的。可以进行因子分析根据上图 可以看出一共提取了3个主成分 可是能解释的方差为69.958% 软件默认的是提取特征根大于1的主成分 如果加上第四个主成分的话可以解释的变异度为86.26%所以结合专业知识 可以考虑是不是增加一个主成分。

在SPSS中，主成分分析是通过设置因子分析中的抽取方法实现的，如果设置的抽取方法是主成分，那么计算的就是主成分得分，另外，因子分析和主成分分析尽管原理不同，但是两者综合得分的计算方法是一致的。层次分析法根据问题的性质和要达到的总目标，将问题分解为不同的组成因素，并按照因素间的相互关联影响以及隶属关系将因素按不同层次聚集组合，形成一个多层次的分析结构模型，从而最终使问题归结为最低层(供决策的方案、措施等)相对于最高层(总目标)的相对重要权值的确定或相对优劣次序的排定。扩展资料：主成分分析法是一种降维的统计方法，它借助于一个正交变换，将其分量相关的原随机向量转化成其分量不相关的新随机向量，这在代数上表现为将原随机向量的协方差阵变换成对角形阵，在几何上表现为将原坐标系变换成新的正交坐标系，使之指向样本点散布最开的p 个正交方向，然后对多维变量系统进行降维处理，使之能以一个较高的精度转换成低维变量系统，再通过构造适当的价值函数，进一步把低维系统转化成一维系统。参考资料来源：百度百科-主成分分析法

在多点地质统计学中,数据样板构成了一个空间结构,不同方向节点就是一个变量。一个数据事件就是由众多变量值构成的整体。在进行数据事件相似性计算与比较时,需要逐点计算其差异;在进行聚类时亦要对所有数据事件进行比较,导致计算效率非常低下。因此很有必要挖掘数据事件内部结构,将其变量进行组合,求取特征值,并用少量特征值完成数据事件的聚类,有效提高储层建模效率。因此,PCA主成分分析被引入到多点地质统计学中。主成分分析(Pirncipal Component Analysis,PCA)是一种掌握事物主要矛盾的统计分析方法,它可以从多元事物中解析出主要影响因素,揭示事物的本质,简化复杂的问题。PCA的目标是寻找r(r<n)个新变量,使它们反映事物的主要特征,压缩原有数据矩阵的规模。每个新变量是原有变量的线性组合,体现原有变量的综合效果,具有一定的实际含义。这r个新变量称为“主成分”,它们可以在很大程度上反映原来n个变量的影响,并且这些新变量是互不相关的,也是正交的。通过主成分分析,压缩数据空间,将多元数据的特征在低维空间里直观地表示出来。假设x=[x1,x2,…,xp]′是一个p维的随机向量,它遵从正态分布x~N(u,σ2)。导出主成分的问题就是寻找x的线性函数a′x,并使a′x的相应的方差最大。多点地质统计学原理、方法及应用因此,在代数上就是寻找一个正交矩阵a,使a′a=1,并使方差:多点地质统计学原理、方法及应用设矩阵A的特征值为λ1≥λ2≥…≥λp≥0对应λi的特征向量记为ui,令Up×p=多点地质统计学原理、方法及应用则U是正交矩阵,即UU′=I,由于A是实对称矩阵,所以有多点地质统计学原理、方法及应用故多点地质统计学原理、方法及应用当a=u1时，多点地质统计学原理、方法及应用因此,当a=u1时,就满足了方差最大的要求,等于相应的特征值λ1。同理,可推广到一般:多点地质统计学原理、方法及应用并且协方差为多点地质统计学原理、方法及应用这就是说,综合变量的系数aj是协方差矩阵A的特征值λj对应的特征向量ju,综合变量Fj的重要性等同于特征值λj,这样,就可以用少数几个变量来描述综合变量的性质。

首先，通常人们将“Logistic回归”、“Logistic模型”、“Logistic回归模型”及“Logit模型”的称谓相互通用，来指同一个模型，唯一的区别是形式有所不同：logistic回归是直接估计概率，而logit模型对概率做了Logit转换。不过，SPSS软件好像将以分类自变量构成的模型称为Logit模型，而将既有分类自变量又有连续自变量的模型称为Logistic回归模型。至于是二元还是多元，关键是看因变量类别的多少，多元是二元的扩展。 其次，当因变量是名义变量时，Logit和Probit没有本质的区别，一般情况下可以换用。区别在于采用的分布函数不同，前者假设随机变量服从逻辑概率分布，而后者假设随机变量服从正态分布。其实，这两种分布函数的公式很相似，函数值相差也并不大，唯一的区别在于逻辑概率分布函数的尾巴比正态分布粗一些。但是，如果因变量是序次变量，回归时只能用有序Probit模型。有序Probit可以看作是Probit的扩展

可以使用SPSSAU[进阶方法]--[二元logistic回归]。二元Logit回归分析时，首先分析p 值，如果此值小于0.05，说明具有影响关系，接着再具体研究影响关系情况即可，比如是正向影响还是负向影响关系等；除此之外，还可以写出二元Logit回归分析的模型构建公式，以及模型的预测准确率情况等。

1、分类资料是指所得数据是分类的，不完全连续的；可分为有序分类和无序分类，有序分类如疾病的预后（未改善、改善和痊愈），无序分类如研究对象的职业（工人、农民、知识分子等）。2、反应变量就是我们常说的因变量，顾名思义就是因别人的变化而变化的量，比如研究某病预后的影响因素，这里的预后就是因变量。3、自变量（影响因子），通俗地说就是不因别人变化而自己变化的量，比如上例中某病预后的影响因素就是自变量，如病人的年龄，疾病分期分型，处理方式等等。下面我们针对逻辑回归的常见问题作一讨论。1、为什么会有非条件和条件逻辑回归？按照研究设计的不同，可将逻辑回归分为成组资料的非条件逻辑回归和配对资料的条件逻辑回归两类。成组资料是指组与组之间是相互独立的，没有针对每一个病例去寻找他特定的对照，它是相对于配对资料而言的。配对资料是指研究设计之初，根据潜在的影响因素如性别、年龄等将病例与对照配成对子，可以是一个病例配一个对照，也可以是一个病例配n个对照。对于成组资料，采用的是非条件逻辑回归；对与配对资料，采用的是条件逻辑回归，两者之间有着明显的区别。按照因变量分类数的多少，可将非条件逻辑回归分为二分类逻辑回归和多分类逻辑回归两类，二分类是指因变量只有两个分类（如是否发生出血），多分类是指因变量有三个及以上分类（如按照出血量的不同，分为轻度、中度和重度出血）。在实际工作中我们最为常用的还是“二分类非条件逻辑回归”，即因变量是两个分类的，研究设计不是病例与对照配对设计的，而是常规的成组设计。2、逻辑回归需要多大的样本量？在实际工作中，经常遇到仅有20-30个病人的资料去做逻辑回归的，这样回归结果可能存在样本量不足的问题。那么在逻辑回归的计算中到底需要多少样本量呢？对于逻辑回归样本量的确定，有一些计算公式和工具表可供参考。一般认为非条件逻辑回归样本容量应为自变量个数的5-10倍，即如果你纳入5个自变量那么样本的总例数应该大于25-50人。较为严格的要求是，在因变量的各个水平中，例数最少的水平的样本数也应该是自变量个数的5-10倍。比如有200个研究对象，其中患病40个，未患病160个，想研究患病的影响因素，那么逻辑回归可纳入的自变量个数为40/10=4个。也有教材指出，经验上非条件逻辑回归中各组的人数应该至少有30-50例（摘自《医学统计学》第三版p293，人民卫生出版社，主编孙振球）。对于条件逻辑回归而言，配对组数不应<50组，且总体的样本量应该大于纳入方程的自变量个数的20倍以上。逻辑回归的所有统计推断都是建立在大样本基础之上的，因此要求有足够的样本量来支持其回归结果的可信度。3、如何判断逻辑回归模型拟合的好坏？通常我们在分析自己的数据时，会遇到不同的分析方法会跑出不同的逻辑回归结果，那么哪个结果更好呢？或者是在多大的程度上，我们能够说明自己在逻辑回归中寻找出的影响因素是对的呢？这就需要我们对逻辑回归模型拟合的效果进行一定的判断。常见的逻辑回归模型效果判断指标有对数似然值、伪决定系数、模型预测的正确率和ROC曲线。具体如下：（1）对数似然值，逻辑回归是通过极大似然法求解的，极大似然取值在0-1之间，可利用-2倍的对数似然值来表示模型的拟合好坏，其值越小越接近于0，说明模型拟合效果越好；（2）伪决定系数，跟线性回归一样，逻辑回归也存在决定系数，称为伪决定系数。它是由似然函数计算而来的，它的值越接近于1说明回归拟合的越好。在SPSS的结果中存在两种伪决定系数，分别是1989年Cox和Snell提出的伪决定系数（取值范围为0≤R2<1）和1991年Nagelkerke提出的最大调整决定系数（取值范围为0≤R2≤1），两者选一即可。（3）模型预测的正确率，显然对因变量结局预测的准确程度也可以反应模型的效果。SPSS在Logistic回归过程中会给出模型预测的列联表，这也是模型拟合好坏的判断依据之一。同时在SPSS中用户还可以自定义模型预测的概率标准（默认是0.5）。（4）ROC曲线，在获得每一个研究对象的预测概率之后，我们可以通过制作ROC曲线来判断一下，取不同的预测概率值时，预测的准确率会有何种变化。4、用SPSS做逻辑回归分析的注意事项（1）自变量和因变量的变量名最好都是英文的。在做逻辑回归时，如果自变量或因变量的变量名中含有中文字符或括号可能会导致逻辑回归结果非常迥异，而且错误的莫名其妙，且不同版本的SPSS出错的形式还不尽相同。建议在所有的统计分析中，变量名均需要修改为英文格式。（2）当自变量中有多分类名义变量时，应该将其设为哑变量进行处理。（3） 如果某连续性自变量可以将因变量的两组完全分开时（如某自变量在病例组中的的最小值大于该自变量在对照组中的最大值时），该自变量不应该被纳入回归方程。（4）如果某分类自变量在因变量的某一组中取值完全一致时（如在病例组中某自变量取值均为1，而在对照组中自变量的取值有0也有1），该自变量不应该被纳入回归方程，否则该自变量的p值特别大，且不会被剔出方程，OR值接近0或无穷大。

1、线性回归线性回归是数据分析法中最为人熟知的建模技术之一。它一般是人们在学习预测模型时首选的技术之一。在这种数据分析法中，由于变量是连续的，因此自变量可以是连续的也可以是离散的，回归线的性质是线性的。线性回归使用最佳的拟合直线(也就是回归线)在因变量(Y)和一个或多个自变量(X)之间建立一种关系。2、逻辑回归逻辑回归是用来计算“事件=Success”和“事件=Failure”的概率。当因变量的类型属于二元(1 /0，真/假，是/否)变量时，我们就应该使用逻辑回归.逻辑回归不要求自变量和因变量是线性关系。它可以处理各种类型的关系，因为它对预测的相对风险指数OR使用了一个非线性的log转换。为了避免过拟合和欠拟合，我们应该包括所有重要的变量。有一个很好的方法来确保这种情况，就是使用逐步筛选方法来估计逻辑回归。它需要大的样本量，因为在样本数量较少的情况下，极大似然估计的效果比普通的最小二乘法差。3、多项式回归对于一个回归方程，如果自变量的指数大于1，那么它就是多项式回归方程。虽然会有一个诱导可以拟合一个高次多项式并得到较低的错误，但这可能会导致过拟合。你需要经常画出关系图来查看拟合情况，并且专注于保证拟合合理，既没有过拟合又没有欠拟合。下面是一个图例，可以帮助理解：明显地向两端寻找曲线点，看看这些形状和趋势是否有意义。更高次的多项式最后可能产生怪异的推断结果。4、逐步回归在处理多个自变量时，我们可以使用这种形式的回归。在这种技术中，自变量的选择是在一个自动的过程中完成的，其中包括非人为操作。这一壮举是通过观察统计的值，如R-square，t-stats和AIC指标，来识别重要的变量。逐步回归通过同时添加/删除基于指定标准的协变量来拟合模型。5、岭回归岭回归分析是一种用于存在多重共线性(自变量高度相关)数据的技术。在多重共线性情况下，尽管最小二乘法(OLS)对每个变量很公平，但它们的差异很大，使得观测值偏移并远离真实值。岭回归通过给回归估计上增加一个偏差度，来降低标准误差。除常数项以外，这种回归的假设与最小二乘回归类似;它收缩了相关系数的值，但没有达到零，这表明它没有特征选择功能，这是一个正则化方法，并且使用的是L2正则化。6、套索回归它类似于岭回归。除常数项以外，这种回归的假设与最小二乘回归类似;它收缩系数接近零(等于零)，确实有助于特征选择;这是一个正则化方法，使用的是L1正则化;如果预测的一组变量是高度相关的，Lasso 会选出其中一个变量并且将其它的收缩为零。7、回归ElasticNet是Lasso和Ridge回归技术的混合体。它使用L1来训练并且L2优先作为正则化矩阵。当有多个相关的特征时，ElasticNet是很有用的。Lasso会随机挑选他们其中的一个，而ElasticNet则会选择两个。Lasso和Ridge之间的实际的优点是，它允许ElasticNet继承循环状态下Ridge的一些稳定性。通常在高度相关变量的情况下，它会产生群体效应;选择变量的数目没有限制;并且可以承受双重收缩。关于数据分析师必须掌握的7种回归分析方法，青藤小编就和您分享到这里了，希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的职业前景及就业内容，可以点击本站的其他文章进行学习。

1、打开spss统计软件，然后单击“Analyze  -  Regression  -  Binary Logistic”。2、出现“逻辑回归”窗口。将“高血压”放入“依赖变量”框，并将其他变量（如“性别”和“体重指数”）放入“分隔符”框中。3、单击“分类”将分类变量的自变量放入右侧的“分类协变量”框中。在这种情况下，自变量“性别”，“饮食习惯，体育锻炼”是分类变量。在右侧的框中选择变量。 “参考类别”选择“最后”或“第一”，此处选择默认的“最后”。点击“继续”。4、单击“保存”，选中“概率”，“组成员”，然后“继续”。5、点击“选项”，勾选“Hosmer-Lymeshaw Fitting Goodness”和“95％Confidence Interval”，然后点击“Continue”。6、方法“选择”输入“最后”确定“。

逻辑回归和判别分析的区别:和逻辑回归相比: (1)判别分析可以用于多分类情况; (2)线性判别分析比逻辑回归更稳定; (3)利用贝叶斯定理计算后验概率,当条件概率分布是正态分布,和逻辑回归很相似。

关联分析。逻辑回归是一种关联分析方法用于探究两个或多个变量之间的关系，并预测一个二元分类结果；逻辑回归建立了自变量和因变量之间的关系，但不能确定因变量是由自变量引起的，因此不能进行因果分析。因果分析是一种统计学方法，用于探究某个事件或行为对另一个事件或行为的影响，即确定因果关系。

1、打开spss统计软件，然后单击“Analyze  -  Regression  -  Binary Logistic”。2、出现“逻辑回归”窗口。将“高血压”放入“依赖变量”框，并将其他变量（如“性别”和“体重指数”）放入“分隔符”框中。3、单击“分类”将分类变量的自变量放入右侧的“分类协变量”框中。在这种情况下，自变量“性别”，“饮食习惯，体育锻炼”是分类变量。在右侧的框中选择变量。 “参考类别”选择“最后”或“第一”，此处选择默认的“最后”。点击“继续”。4、单击“保存”，选中“概率”，“组成员”，然后“继续”。5、点击“选项”，勾选“Hosmer-Lymeshaw Fitting Goodness”和“95％Confidence Interval”，然后点击“Continue”。6、方法“选择”输入“最后”确定“。

主成分分析(PCA)是一种常用的无监督学习方法，这一方法利用正交变换把由现行相关变量表示的观测数据转化为少数几个由线性无关变量表示的数据，线性无关的变量称为主成分。主成分的个数通常小于原始变量的个数，所以主成分分析属于姜维方法。主成分分析主要用于发现数据中的基本结构，即数据中变量之间的关系，是数据分析的有力工具，也用于其他机器学习方法的前处理。 统计分析比中，数据的变量之间可能存在相关性，以致增加了分析的难度。于是，考虑由少数几个不相关的变量来代替相关的变量，用来表示数据，并且要求能够保留数据中的不部分信息。 主成分分析中，首先对给定数据进行规范化，使得数据每一变量的平均值为0，方差为1,。之后对数据进行正交变换，用来由线性相关表示的数据，通过正交变换变成若干个线性无关的新变量表示的数据。新变量是可能的正交变换中变量的方差和(信息保存)最大的，方差表示在新变量上信息的大小。将新变量一次成为第一主成分，第二主成分等。通过主成分分析，可以利用主成分近似地表示原始数据，这可理解为发现数据的“基本结构”；也可以把数据由少数主成分表示，这可理解为对数据降维。 方差最大的解释。假设有两个变量 ，三个样本点A,B,C。样本分布在由 轴组成的坐标系中，对坐标系进行旋转变换，得到新的坐标轴 ，表示新的变量 。坐标值的平方和 表示样本在变量 上的方差和。主成分分析旨在选取正交变换中方差最大的变量，作为第一主成分，也是是旋转变换中坐标值的平方和最大的轴。注意到旋转变换中变换中样本点到原点距离的平方和 不变，根据勾股定理，坐标值的平方和最大 等价于样本点到 轴的距离平方和 最小。所以，等价地，主成分分析在旋转变换中选取离样本点的距离的平方和最小的轴，作为第一主成分。第二主成分等的选取，在保证与已有坐标轴正交的条件下，类似地进行 假设 是m维随机变量，其均值是 , 协方差矩阵是 考虑到m维随机变量 到m维随机变量 的线性变换 其中 由随机变量的性质可知 总体主成分的定义 给定式(1)所示的线性变换，如果他们满足下列条件 设 是m维随机变量， 是 的协方差矩阵， 的特征值分别是 ，特征值对应的单位特征向量分别是 ，则 的第k主成分是 的第k主成分的方差是 即协方差矩阵 的第k个特征值 首先求 的第一主成分 ，即求系数向量 。第一主成分的 是在 的条件下， 的所有线性变换中使方差达到最大的 求第一主成分就是求解最优化问题 定义拉格朗日函数 其中 是拉格朗日乘子，将拉格朗日函数对 求导，并令其为0，得 因此 是 的特征值， 是对应的单位特征向量。于是目标函数 假设 是 的最大特征值 对应的单位特征向量，显然 与 是最优化问题的解，所以， 构成第一主成分，其方差等于协方差矩阵的最大特征值 接着求 的第二主成分 ，第二主成分的 是在 且 与 不相关条件下， 的所有线性变换中使达到最大 求第二主成分需参求解约束最优化问题 定义拉格朗日函数 其中 对应拉格朗日乘子。对 求偏导，并令其为0，得 将方程左则乘以 有 此式前两项为0，且 ，导出 ，因此式成为 由此， 是 的特征值， 是对应的特征向量，于是目标函数为 假设 是 的第二大特征值 的特征向量，显然 是以上最优化问题的解。于是 构成第二主成分，其方差等于协方差矩阵的第二大特征值， 按照上述方法可以求得第一、第二、直到第m个主成分，其系数向量 分别是 的第一、第二、直到m个单位特征向量， 分别是对应的特征值。并且，第k主成分的方差等于 的第k个特征值。 主成分分析的主要目的是降维，所以一般选择 个主成分（线性无观变量），使问题得以简化，并能保留原有变量的大部分信息。这里所说的信息是指原有信息的方差。 对任意正整数 ，考虑正交线性变换 其中 是q的维向量， 是q*m维矩阵，令 的协方差矩阵为 则 的迹 在 时取最大值，其中矩阵 是由正交矩阵A的前q列组成。 这表明，当 的线性变换 在 时，其协方差矩阵 的迹 取得最大值。也就是说，当A取前 的前q个主成分时，能够最大限度地保留原有变量方差的信息。 以上作为选择k个主成分的理论依据。具体选择k的方法，通常利用方差贡献率。 第k主成分 的方差贡献率定义为 的方差与所有方差之和的比记作 k个主成分 的累计方差贡献率定义为k个方差之和和所有方差之和的比 通常取k使得累计方差贡献率达到规定的百分比以上，例如70%~80%。累计方差贡献率反映了主成分保留信息的比例，但它不能反映对某个原有变量 保留信息的比例，这时通常利用k个主成分 对原有变量 的贡献率。 k个主成分 对原有变量 的贡献率为 , 的相关系数的平方，记作 计算公式如下： 其中， 是随机变量 的方差，即协方差矩阵 的对角元素。 在实际问题中，不同变量可能有不同的量纲，直接求主成分有时会产生不合理的结果，为了消除这个影响，常常对各个随机变量实施规范化，使其均值为0，方差为1 设 为随机变量， 为第i个随机变量， ，令 其中， 分布是随机变量 的均值和方差，这时 就是 的规范化随机变量。 在实际问题中，需要在观测数据上进行主成分分析，这就是样本主成分分析。样本主成分也和总体主成分具体相同的性质。 使用样本主成分时，一般假设样本数据是规范化的，即对样本矩阵如下操作： 其中 样本协方差矩阵S是中体协方差矩阵 的无偏估计，样本相关矩阵R是总体相关矩阵的无偏估计，S的特征值和特征向量 的特征值和特征向量的无偏估计。 传统的主成分分析通过数据的协方差矩阵或相关矩阵的特征值分解进行，现在常用的方法是通过数据矩阵的奇异值分解进行。下面介绍数据的协方差矩阵或相关矩阵的分解方法 给定样本矩阵 ，利用数据的样本的协方差矩阵或样本相关矩阵的特征值分解进行主成分分析 给定样本矩阵 ，利用数据矩阵奇异值分解进行主成分分析，这里没有假设k个主成分 对于 维实矩阵A，假设其秩为r, ，则可将矩阵A进行截断奇异值分解 式 是 矩阵， 是k阶对角矩阵， 分别由取A的完全奇异分解的矩阵U，V的前k列， 由完全奇异分解的矩阵 的前k个对角元素得到 定义一个新的 矩阵 的每一列均值为0， 即 等于X的协方差矩阵 主成分分析归结于求协方差矩阵 的特征值和对应的单位特征向量。 假设 的截断奇异值分解为 ，那么V 的列向量就是 的单位向量，因此V的列向量就是X的主成分。于是X求X的主成分可以通过 的奇异值来实现

    本文记录的目的是方便自己学习和复习，有误之处请谅解，欢迎指出。     主成分分析（Principal Component Analysis，PCA）是中最常用的降维算法之一，也可以用于数据压缩、去除冗余信息、消除噪声等方面。PCA的目的是找出一组低维数据来代表原高维数据，且保留原始数据中的主要信息。例如有m个数据集，n维特征，我们希望将n维特征降低到d维，而且让损失的信息尽可能小，具体怎么做呢？     首先通过PCA找出第1个新坐标使得原始数据中方差最大；然后找出第2个新坐标与第1个坐标正交平面使得方差最大；再找出第3个坐标与1，2坐标正交平面使得方差最大...，以此类推，得到d个新维度特征。     直接一点：就是求出样本集的协方差矩阵 的前d个特征值对应的特征向量，组成矩阵 ，然后对每个样本 进行变换 。     1）特征去中心化，即每个维度特征减去其均值：     2）计算协方差矩阵     3) 对协方差矩阵进行特征值分解     4）取前d个最大的特征值对应的特征向量组成矩阵 。     5）对每个样本数据进行变换，     6）得到降维后的数据     假定现有10个二维数据集 (2.5,2.4), (0.5,0.7), (2.2,2.9), (1.9,2.2), (3.1,3.0), (2.3, 2.7), (2, 1.6), (1, 1.1), (1.5, 1.6), (1.1, 0.9) ，需要用PCA降到1维。     首先样本去中心化，这里样本的均值为 (1.81, 1.91) ,所有的样本减去这个 均值 向量后，即中心化后的数据集为 (0.69, 0.49), (-1.31, -1.21), (0.39, 0.99), (0.09, 0.29), (1.29, 1.09), (0.49, 0.79), (0.19, -0.31), (-0.81, -0.81), (-0.31, -0.31), (-0.71, -1.01) 。     求协方差矩阵：     求出特征值为 （0.0490833989， 1.28402771） ，对应的特征向量分别为： 由于最大的k=1个特征值为1.28402771，对应的特征向量为 。这也就是特征矩阵 。     对每个数据样本进转换 得到降维后的数据 (-0.827970186， 1.77758033， -0.992197494， -0.274210416， -1.67580142， -0.912949103， 0.0991094375， 1.14457216, 0.438046137， 1.22382056)

加权基因共表达网络分析（ WGCNA , Weighted gene co-expression network analysis ）是一种用来描述不同基因在样本中的表达关联模式的系统生物学方法。 通过将表达高度相关的基因聚集成不同的模块，并探究不同模块与样本表型之间的关联。还可以探究模块内的关键基因的功能，作为潜在的生物标志物或治疗靶点进行后续分析 WGCNA 模块识别算法大致包含以下几个步骤： 输入数据的格式要符合行为样本，列为基因的矩阵格式，因为计算的是基因之间的相关性，所以数据可以是标准化的表达值或者是 read counts 。 探针集或基因可以通过平均表达量或方差（如中位数或绝对中位差）进行过滤，因为低表达或无变化的基因通常代表噪音。 注意 ：并不推荐使用差异基因作为输入矩阵，通过差异表达基因过滤将会导致一个（或几个高度相关的）基因聚成一个模块，同时，也破坏了无标度拓扑的假设，所以通过无标度拓扑拟合来选择软阈值的将会失败。 主要是过滤一些离群或异常的样本，可以对样本数据进行聚类，如果存在异常样本，则其在聚类图中会显示出离群现象，可考虑将其剔除。 首先，对基因的表达量进行 0-1 标准化，即 其中， 为样本方差 然后，使用 pearson 计算基因之间的相关性 两个基因的共表达相似性表示为 然后将基因之间的相似度转换为邻接值，对于非加权网络，计算方式为 其中 为硬阈值，大于等于该阈值表示这两个基因之间存在连接，而低于阈值则认为两个基因没有连接。它们并不能反映共表达信息的连续性质，因此可能导致信息损失。例如，阈值为 0.8 ，那 0.79 是不是应该也有一定的相关性呢？ 在介绍软阈值之前，我们先引出两个图论的概念： 度表示为节点所连接的边的数量 无标度网络具有很好的鲁棒性，网络中某些节点的错误并不会导致整个网络的瘫痪，具有很多的代偿连接。而这一特点，与生物体中的复杂生化网络非常类似，只有少数的基因执行着关键性的功能，而大多数的基因执行较为单一的功能。 无标度网络中，节点 d 的度为 k 的概率满足幂律分布 通过对数变换，变为 从这个公式可以看出，节点的度数与其出现的概率是负相关的，通过计算各个节点的度数 k 与该度数 k 在所有节点度数中的占比的 pearson 相关性，我们可以得到关于无标度网络的适应系数。该系数越接近 1 则越像无标度网络，越接近 0 则越像随机网络。 所以，对于加权网络，其邻接值的计算方式为： 当软阈值 时，会让相关系数小的更小，而大的更大。 可以根据适应系数来筛选软阈值 光有邻接矩阵是不够的，基因间的相似性应该要同时体现在其表达和网络拓扑水平，为了能能够尽可能地最小化噪音和假阳性的影响，因此引入了拓扑重叠矩阵 这个概念的主要表达的是，两个基因 a 和 b 之间的相关性，不光考虑两个基因的表达相关性，还需要考虑一些 A 和 B 共有的表达相关基因 u ，如果 u 足够多，则说明 A 与 B 的网络重叠性强，应该被聚成一类 换个说法，两个人之间的亲密度不仅与他们两人之间有关，还与他们的共同好友有关，共同好友越多，说明他们两人之间应该越亲密 计算公式为： 其中， 分别为 i 和 j 的度数 表示的是两个基因的相似性，转换成距离度量就是 ，并使用该值来进行聚类，并分割模块 我们以 TCGA 的乳腺癌数据作为示例，来完整的做一遍 WGCNA 分析 先安装模块 获取 50 个样本的 FPKM 数据， WGCNA 最少需要 15 个样本， 20 个以上的样本会更好，样本越多越好，这里为了方便，我们只挑了 50 个样本 过滤基因，取绝对中位差 top 5000 的基因 过滤异常样本 确定软阈值的时候，需要选择网络类型，不同的网络类型，其计算邻接值的方法是不一样的。 默认为 unsigned 我在 RStudio 中使用 enableWGCNAThreads() 会引发下面的错误 所以，我改用了 allowWGCNAThreads() ，就可以运行了 绘制软阈值曲线 其中横坐标为软阈值的梯度，第一幅图的纵坐标为无标度网络适应系数，越大越好；第二幅图的纵坐标为节点的平均连通度，越小越好。 查看系统给我们推荐的软阈值 与我们从图上看到的结果是一致的，如果出现了异常的值，也就是说在有效的 power 梯度范围内（无向网络在 power 小于 15 ，有向网络 power 小于 30 ），无法使适应系数的值超过 0.8 ，且平均连接度在 100 以上 可能是由于部分样品与其他样品差别较大。这可能是由于批次效应、样品异质性或实验条件对表达影响太大等因素造成的。 可以对样本绘制聚类图来查看有无异常样品，如果这确实是由于生物学差异引起的，也可以使用下面的经验 power 值。 一步法构建网络，我们使用上面推荐的软阈值 5 查看各模块的基因数量 可以使用 labels2colors 函数将数值转换为颜色名称 使用 plotDendroAndColors 函数来展示各个模块的层次聚类结果 其中，无法聚类到模块中的基因会标示为灰色，如果灰色区域较多，可能由于样本中基因共表达趋势不明显，可能需要调整基因过滤的方法。 展示模块之间的相关性 展示 TOM 矩阵，为了节省时间，我们只使用第一个聚类分支 或者更换一种配色 颜色越深表示基因表达的相关性更高，我们可以看到，模块内的基因之间具有较高的共表达，而模块之间的表达相关性较低 将整个网络全部导出成 Cytoscape 输入文件 保存网络 也可以提取某一模块的基因 获取到基因之后，可以进行富集分析找到相关的生物学通路 我们可以分析各网络模块与样本表型之间的关系，从而找到与我们感兴趣表型相关的模块。 样本表型可以是各种指标，比如肿瘤分期分级、已知的分类亚型、药物响应等，并计算模块与这些表型之间是否具有显著相关性 但是模块是一个矩阵，无法直接计算矩阵和向量之间的相关性，需要转换为向量之间的相关性。 而 WGCNA 选择使用 PCA 的方法对数据降维，并将第一主成分定义为 eigengenes ，然后计算 eigengenes 与表型之间的相关性 先获取并处理临床数据 计算模块与 ER 状态的相关性 如果使用的是其他相关性方法，则可以使用 bicorAndPvalue 函数来计算显著性 绘制相关性图 可以看到有些模块的相关性挺高的，而且也具有显著性。我们计算出模块与表型之间相关性之后，可以挑选最相关的那些模块来进行后续分析。但是，模块本身可能还包含很多的基因，还需要进一步识别关键基因基因。 如何寻找关键基因呢？我们可以计算所有基因与模块之间的相关性，也可以计算基因与表型之间的相关性。如果存在一些基因，既与表型显著相关又跟某个模块显著相关，那么这些基因可能就是非常重要的关键基因了 从上图中，我们可以看到 paleturquoise 具有较高的相关性，且具有显著性，我们就来尝试找找这个模块的关键基因 计算基因与模块的相关性 再计算基因与表型的相关性 展示模块内基因与模块和表型之间的相关性 从图中我们可以看出，基因与表型的相关性和基因与模块的相关性还是有一定的线性趋势的，这说明与表型高度相关的基因，通常也是该表型对应模块内比较重要的基因。 因此，当我们要选择关键基因时，推荐选取散点图中右上角部分的基因，即两个相关性均较大的基因 我们可以导出这个模块的网络

空间权重矩阵的缺点是，作为将普通数据延伸至空间数据的桥梁,在理论和应用方面都具有不可忽视的作用,由于空间权重矩阵的不确定性和检验方法的缺乏导致出现权重矩阵的选取和误用问题。

图1是电网络及其线图的例子，其中的线段称作支路，点称作节点，若每条支路都规定了方向就是有向图，否则为无向图。树定义为包含线图中所有节点但不含回路的联通子图，线图中属于该树的支路叫作树支，其它则为连支。一个线图通常有许多棵树，图2为图1(b)线图的一些树。设线图有n+1个节点和b条支路，则树支恰有n条，连支则有b-n条。利用树可以系统地找出最大数目的独立回路组，方法是选定一棵树，给树每增添一条连支，就构成一个只包含该连支的回路，并称为基本回路，这样由b-n条连支共可得出b-n个独立的基本回路组。3.1 图的矩阵表示节点和支路的关系还可用矩阵来表示。如下图3及图4。回路矩阵B是描述回路与支路间关系的（b-n）行b列的矩阵，其中的元素bij取值为1，则表示支路ej包含在回路ci中，且方向一致，取值为-1则表示方向相反，取值为0则ej不在回路ci中。B矩阵可由基本回路组或其线性组合来形成，是一个非奇异矩阵。除A、B外还有其它描述线图的矩阵，如割集矩阵、邻接矩阵等，并统称为拓扑矩阵。3.2 电网络方程式 借助于网络拓扑和矩阵方法，可以系统地建立电网络方程，并且便于用计算机处理。令Ib和Ub分别代表电网络的支路电流矢量和支路电压矢量，则可将电路的基尔霍夫电流定律(KCL)和电压定律(KVL)表示为KCL：AIb=0 (n个独立方程）KVL：BUb=O (b-n个独立方程）由此得出b个由网络拓扑性质确定的独立方程，再加上b个由支路元件性质确定的电流和电压关系式，就足以解出各支路的电流和电压(共2b个待求量）。由这三组方程还可导出含较少待求量的方程组，如节点电压方程组、回路电流方程组和节偶电压方程组等。

配电网络的拓扑分析是根据配电电气元件的连接关系，把整个配电网络看成线与点结合的拓扑图，然后根据电源结点、开关结点等进行整个网络的拓扑连线分析，它是配电网络进行状态估计、潮流计算、故障定位、隔离及供电恢复、网络重构等其它分析的基础。配电网络的结构庞大且复杂，网络结构由于故障或负荷转移操作中开关的开合，经常发生变化。作为配电网络分析的基础，网络拓扑计算需要进一步提高，因此迫切需要一个好的网络拓扑算法。好的网络拓扑算法应该有效且直观，它不仅能满足配电网自动化中的不同高级功能的要求，还应能实现配电网络连通性的快速跟踪和识别，适应事件变化。同时还应节省存储空间和其他高级计算功能的时间。目前国内外在这方面现有的研究有关联表矩阵表示法、网基矩阵表示法、结点消去法、树搜索表示法、离散处理法等。(1)关联表矩阵表示法，联表矩阵，设备编号来分析设备的连接关系，得到网络的拓扑。其中建立了两个表矩阵，N行13列的结点描述矩阵和M行16列的支路描述矩阵。这两个矩阵即包含了每一个结点和每一条支路所相关联的结点或支路号，以及各自的属性。由于配电网络结构复杂，基于关联表的搜索分析方法会很复杂费时，难以实现网络拓扑的快速跟踪。(2)网基矩阵表示法：该方法是基于图论的表示方法。其基本思想是：配电网络是一个变结构的网络，网络由结点和弧构成。称变结构网络的各种允许结构形态为网形，称所有网形中出现的弧的并集对应的基础图为变结构网络的网基。网基用网基结构矩阵来描述，对于一个N结点的网络，网基结构矩阵为N行N列的方阵，该矩阵表示了结点间的连接关系。网形则采用弧结构矩阵来描述。将网基矩阵经基形变换得到描述网形的弧结构矩阵。该方法从配电网络的变结构特点出发，能有效的表示配电网络拓扑，但是它是基于矩阵的表示方法，而配电网络的矩阵稀疏程度很高，占用了较大的存储空间。(3)结点消去法：该方法即通过消去中间节点，降低邻接矩阵的阶数，减少计算量和计算冗余度，提高计算速度。这种算法的基本思想是忽略掉中间结点，只分析对拓扑结构具有重要影响作用的结点之间的连通状态。结点消去法适用于任何接线方式，尤其对复杂的接线分析非常有效。大大减少了计算冗余度和计算量，提高了计算速度。但会影响到状态估计、潮流计算、故障定位、隔离及供电恢复、网络重构等其它分析。(4)树搜索法：在树搜索中，将母线看作图的顶点，将支路看作是图的边。通常对配电网来说，开关变位造成网络结构发生重大变化的情况是很少发生的。在大多数情况下，开关变位的影响是局部的，基于此当开关状态发生变化时，只搜索断开开关所在的厂站电压等级的拓扑分析方法，可提高网络拓扑分析效率。(5)离散处理法：电力系统既含连续动态，也含离散动态。开关状态变化引起电力系统网络结构变化，是一种典型的离散事件动态过程。把整个电网拓扑分析问题分解为若干基本分析单元，采用基本分析单元的有色Petri网模型，当开关状态发生变化时，只需重新计算受变化的开关状态影响的母线，可提高拓扑分析的效率。通过对上述算法的比较、分析，可以看出各有特点，然而孤立地使用其中任意一种都无法达到直观、有效、快速等配电网拓扑的综合要求。因此要充分借鉴前人的研究成果，根据实际情况来实现配电网络的拓扑分析。

介绍这个包之前，先要搞清楚这个包能干啥。（部分内容摘抄自学术咖） Q1：WGCNA能干嘛？ A1：能够将表达模式相似的基因进行聚类，并分析模块与特定性状或表型之间的关联关系。具体一点：1）构建分层聚类树(hierarchical clustering tree)，聚类树的不同分支代表不同的基因模块(module)，模块内基因共表达程度高，而分属不同模块的基因共表达程度低。2）探索模块与特定表型或疾病的关联关系，最终达到鉴定疾病治疗的靶点基因、基因网络的目的。 Q2：WGCNA分析结果中总是提到共表达网络，是什么？ A2：共表达网络特指利用基因间的表达相关性预测基因间调控关系的方法，WGCNA是共表达网络分析中最有效的方法之一。 Q3：一般说WGCNA的样品不少于15个，15个样品考虑重复吗？ A3：15个样本这个是包含了生物学重复，比如5个时间点3个重复。 Q4：每个样本有3个生物学重复，不需要对三个重复的表达量求平均值代表该样本吗？ A4：做WGCNA的时候每个样本是独立的，三个生物学重复样本是全部导入做分析，不是取均值再做分析，每个样本都是独立的。 Q5：WGCNA里面一般会提到hubgene，如何确定hubgene? A5：在WGCNA分析里面，每个基因都会计算连通性，连通性高的就是hubgene。 那么根据它能做的事情，再结合具体的数据，那么我们在做WGCNA之前需要准备的数据有两个：表达量数据和表型数据。 表达量数据，FPKM矩阵即可。 表型数据，即性状数据，比如肿瘤的stage、肿瘤的预后等等。可以是质量性状也可以是数量性状。 1、安装包 你可以直接安装，但是后面会报错。 看了半天发现，是少了一个impute的包。所以需要重新安装。 2、导入数据 3、用hclust给所有的样本建树。看看不同个体之间的距离，以及有没有一些具体特别远的个体。 4、确定最佳的beta值， 画图 5（5.1）、构建共表达矩阵（自动构建网络 + 模块识别） 可视化module 5（5.2）、构建共表达矩阵（逐渐构建网络 + 模块识别） Step_1:Co-expression similarity and adjacency Step_2:计算拓扑重叠矩阵（TOM） Step_3:使用TOM(拓扑重叠矩阵)进行聚类，绘制聚类得到的树形图。 Step_4:使用dynamic tree cut来识别模块。 Step_5:将基因表达相似的模块进行合并 Step_6:保存模块相关变量，用于后续的分析.需要保存的变量有①模块的特征基因②模块的数字标签③模块的颜色标签④基因的树形图。 6、展示模块之间的相关性 7、可视化基因网络 (TOM plot) 8、模块和性状的关联分析 看完资料之后，性状关联分析貌似有两种处理方法。 第一种：质量性状。一列subtype但是包含有5种类型的癌症。（ https://cloud.tencent.com/developer/article/1516749 ）除了上面的热图展现性状与基因模块的相关性外。 还可以是条形图,但是只能是指定某个性状。 或者自己循环一下批量出图。 9、感兴趣性状的模块的相关性分析

指电流或电压的大小，方向完全相同，它主要用在交流电路分析中，因交流电不仅有大小还有方向

不是同一个东西。 第一个是用于自然语言分析的隐主题模型。LDA是一种文档主题生成模型，也称为一个三层贝叶斯概率模型，包含词、主题和文档三层结构。文档到主题服从Dirichlet分布，主题到词服从多项式分布。 第二个线性判别式分析（Linear Discriminant Analysis），简称为LDA。也称为Fisher线性判别（Fisher Linear Discriminant，FLD），是模式识别的经典算法，在1996年由Belhumeur引入模式识别和人工智能领域。基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离，即模式在该空间中有最佳的可分离性。

不是同一个东西。 第一个是用于自然语言分析的隐主题模型。LDA是一种文档主题生成模型，也称为一个三层贝叶斯概率模型，包含词、主题和文档三层结构。文档到主题服从Dirichlet分布，主题到词服从多项式分布。 第二个线性判别式分析（Linear Discriminant Analysis），简称为LDA。也称为Fisher线性判别（Fisher Linear Discriminant，FLD），是模式识别的经典算法，在1996年由Belhumeur引入模式识别和人工智能领域。基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离，即模式在该空间中有最佳的可分离性。

不是同一个东西。x0dx0a 第一个是用于自然语言分析的隐主题模型。LDA是一种文档主题生成模型，也称为一个三层贝叶斯概率模型，包含词、主题和文档三层结构。文档到主题服从Dirichlet分布，主题到词服从多项式分布。x0dx0a 第二个线性判别式分析（Linear Discriminant Analysis），简称为LDA。也称为Fisher线性判别（Fisher Linear Discriminant，FLD），是模式识别的经典算法，在1996年由Belhumeur引入模式识别和人工智能领域。x0dx0a基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离，即模式在该空间中有最佳的可分离性。

我们描述潜在的狄利克雷分配（LDA），它是一种用于离散数据集合（如文本语料库）的生成概率模型。 LDA是一个三层次的贝叶斯模型，其中一个集合中的每个项目都被建模为一组潜在的话题（主体）类型的有限混合。反过来，每个主题都被建模为一组潜在主题概率的无限混合。 在文本建模的背景下，主题概率提供了文档的明确表示。我们提出了基于变分方法和经验贝叶斯参数估计的EM算法的高效近似推理技术。 我们会报告LDA在文档建模，文本分类和协作过滤上的实验结果，并与一元混合模型（ unigrams model）和概率LSI模型相比较。 在本文中，我们考虑建模文本语料库和其他离散数据集合的问题。我们的目标是找到对一个集合的成员的简短描述，它不仅可以高效处理大型集合，同时保留对分类，异常检测，摘要（概括）以及相似性和相关性判断等基本任务有用的必要统计关系。 信息检索（IR）领域的研究人员已经在这个问题上取得了重大进展（Baeza-Yates和Ribeiro-Neto，1999）。IR研究人员为文本语料库提出的基本方法 （一种在现代互联网搜索引擎中成功部署的方法）将语料库中的每个文档变为实数表示的向量，每个实数都表示（词汇的）计数比率。流行的tf-idf方案（Salton和McGill，1983），对于文集中的每个文档选择了“词”或“术语”作为基本单位，并且计数由每个词的出现次数。在适当的归一化之后，将该术语频率计数与逆向文档频率计数进行比较，该逆向文档频率计数度量整个语料库中的词的出现次数（通常以对数刻度，并且再次适当标准化）。 最终结果是文档术语矩阵X，其列包含文档集中每个文档的tf-idf值。 因此，tf-idf方案将任意长度的文档缩减为固定长度的数字列表。 尽管tf-idf规约具有一些吸引人的特征 - 特别是（在对集合中的文档进行区分的）单词集合的基本识别中，但是在（对文档的）描述长度上，该方法并没有减少多少，并且揭示出很少的文档内或文档间的统计结构。为了解决这些缺点，IR研究人员提出了其他几种降维技术，其中最著名的是潜在语义索引（LSI）（Deerwester等，1990）。LSI使用X矩阵的奇异值分解来标识tf-idf特征空间中的线性子空间，该子空间捕获集合中的大部分变异数（variance）。这种方法可以在大型集合中实现显着压缩。此外，Deerwester等人 认为LSI的衍生特征（即原始tf-idf特征的线性组合），可以捕捉基本语言学概念的某些方面，比如同义词和多义词等。 为了证实关于LSI的主张，并研究其相对的优缺点，开发文本语料库的生成概率模型和研究LSI从数据中恢复生成模型方面的能力是有用的（Papadimitriou et al。，1998）。然而，目前尚不清楚，考虑文本的生成模型的时候，为什么应该采用LSI方法 - （其实）可以尝试更直接地进行，（比如）使用最大似然法或贝叶斯方法将模型与数据相匹配（即得到数据的模型）。 Hofmann（1999）在这方面迈出了重要的一步，他将LSI的概率LSI（pLSI）模型（也称为特征模型aspect model）作为LSI的替代品。我们在第4.3节中详细描述的pLSI方法将文档中的每个单词作为混合模型中的样本进行建模，其中混合组件是多项随机变量，可以将其视为“主题topics”的表示。因此，每个单词都是从单个主题生成的，而文档中的不同单词可以从不同的主题生成。每个文档都被表示为这些混合组件的混合比例列表，从而将其简化为一组固定主题的概率分布。 这种分布是与文档相关的“简化描述”。 虽然霍夫曼的工作是向文本概率建模迈出的有用的一步，但它并不完整，因为它没有提供文档层面的概率模型。在pLSI中，每个文档都被表示为一个数字列表（数字的值是主题的混合比例），并且这些数字没有生成概率模型。这导致了几个问题：（1）模型中参数的数量与语料库的大小成线性增长，这导致过度拟合的严重问题;（2）不清楚如何将概率分配给训练集之外的文档。 要了解如何超越pLSI，让我们考虑包括LSI和pLSI在内的一类降维方法的基本概率假设。所有这些方法都基于“词袋”的假设 - 文档中的单词顺序可以忽略不计。此外，尽管不经常正式说明，但这些方法也假定文档是可相互交换的; 文集中文档的具体排序也可以忽略不计。 受益于Finetti（1990），一个经典表示理论认为：任何可交换随机变量的集合都具有混合分布（通常是无限混合）的表示。因此，如果我们想考虑文件和单词的可交换表示，我们需要考虑能捕获单词和文档的可交换性的混合模型。这一思路促使我们在当前论文中提出潜在狄利克雷分配（LDA）模型。 需要强调的是，可交换性的假设并不等同于随机变量独立同分布的假设。相反，可交换性本质上可以被解释为“条件独立且分布相同”，其中的条件是与概率分布的潜在隐参数有关的。在一定条件下，随机变量的联合分布是简单的，但如果围绕隐参数考虑，联合分布可能相当复杂。因此，虽然可交换性的假设是文本建模领域的一个主要的简化假设，并且其主要理由是它是一种会导致计算效率较高的方法，但可交换性假设对简单频率的计数或线性操作并不是一个必要的条件。在当前的论文中，我们的目标是，通过认真考虑de Finetti定理，可以通过混合分布获取重要的文档内统计结构。 同样值得注意的是，可交换性的基本概念有大量的总结概括，包括各种形式的部分可交换性，并且上面提到的表示法也可用于部分可交换的情况（Diaconis，1988）。因此，虽然我们在当前论文中讨论的工作集中在简单的“词袋”模型上（这表现为单个单词（unigrams）的混合分布），但我们的方法也适用于涉及较大结构混合的更丰富的模型，如n-grams或段落。 本文的结构如下： 在第2节中，我们介绍基本的表示法和术语。 LDA模型在第3节中介绍，并与第4节中的相关潜变量模型进行比较。我们在第5节讨论LDA的推理和参数估计。第6节提供了LDA拟合数据的一个说明性例子。文本建模，文本分类和协作过滤的实验结果在第7节中给出。最后，第8节给出我们的结论。 我们在整篇论文中使用 文本集合 的说法，指的是诸如“单词”，“文档”和“语料库”等实体。这很有用，因为它有助于指导靠直觉来感知的知识的处理（intuition），特别是当我们引入旨在捕捉抽象概念（如主题）的潜在变量时（潜在变量和隐变量说的是一回事）。然而，需要指出的是，LDA模型不一定与文本相关，并且可应用于涉及数据集合的其他问题，包括来自诸如协同过滤，基于内容的图像检索和生物信息学等领域的数据。 事实上，在7.3节中，我们将呈现在协同过滤领域的实验结果。 在形式上，我们定义下列术语： • 单词是离散数据的基本单位，假设有一个V个词组成的词汇表（词典），索引通过{1......V}表示，里面每一项代表一个单词。我们使用单位向量表示单词，它里面一项等于1其他项等于零。我们使用上标来表示第几个成分，因此第v个词在V维向量w中表示为：w v = 1 and w u = 0 for u ≠ v • 文档中的词来自一个包含N个词的词典，一个文档可以表示成N个词组成的序列，可以表示为 w = (w 1 ,w 2 ......w N )，下标表示第几个词。（注意，每个词用一个V维的向量表示，每篇文档有最多有N个不同的词，不要搞混了） • 一个语料库是含有M个文档的集合，用 D = ( w 1 , w 2 ...... w M )----注意有加粗 我们希望找到一个语料库的概率模型，它不仅为语料库成员分配高概率，而且为其他“类似”文档分配高概率。（意思就是说，语料库中某一文档的某个topic概率比较高，那么测试相似文档。也能得到相同的概率分布） 隐在狄利克雷分配（LDA）是语料库的生成概率模型。 其基本思想是文档被表示为潜在主题的随机混合，每个主题都是有不同的文字（词）分布特征的。 LDA为语料库 D 中的每个文档 w 假定以下生成过程： 在这个基本模型中做了几个简化的假设，其中一些我们在后面的章节中会删除。首先，Dirichlet分布的维度k（以及主题变量z的维度）被假定为已知并且是固定的。其次，单词概率通过k×V矩阵 β 进行参数化，其中 β ij = p（w j = 1 | z i = 1）（猜测：它表示在某个主题中索引为i的词出现的条件下，文档中第j个词出现的概率），现在我们将其视为待估计的固定量。最后，泊松假设对随后的任何事情都不是关键的，并且可以根据需要使用更真实的文档长度分布。此外，请注意，N与所有其他数据生成变量（θ和z）无关。 因此它是一个辅助变量，我们通常会忽略它在随后发展中的随机性。 一个k维Dirichlet随机变量θ可以从(k − 1)-simplex（单形或单纯形）中取值，并且在这个单纯形中有以下概率密度： α 参数是一个k维向量，并且 α 的每一项都满足α i > 0，另外Γ(x)是 伽马函数 。狄利克雷分布在单形（属于指数族）上是一种实用的分布，具有有限维数的充分统计量，并且与多项分布共轭。 在第5节中，这些属性将有助于开发LDA的推理和参数估计算法。 给定参数α和β，主题混合分布θ、主题 z 和文档 w 的联合分布为： 上式表示给定参数α和β的条件下，文档的概率分布。 最后，利用单个文档边际概率的乘积，得到一个语料库的概率分布： 区分LDA和简单的Dirichlet多项式聚类模型很重要。 经典的聚类模型会涉及到一个两层模型：其中，一个Dirichlet为一个语料库抽样一次，一个多项式聚类变量为语料库中的每个文档选择一次，并且以聚类变量为条件，为文档选择一组词语 。与许多聚类模型一样，这种模型将文档限制为与单个主题相关联。另一方面，LDA涉及三个层次，特别是主题节点在文档中被重复采样。在这种模式下，文档可以与多个主题相关联。 图1所示类似结构通常在贝叶斯统计建模中研究，它们被称为分层模型（Gelman等，1995），或者更准确地说，是条件独立的分层模型（Kass和Steffey，1989）。这种模型通常也被称为参数经验贝叶斯模型（parametric empirical Bayes models），这个术语不仅指特定的模型结构，而且还指用于估计模型参数的方法（Morris，1983）。事实上，正如我们在第5节中讨论的那样，我们采用经验贝叶斯方法来估计一个LDA简单实现中的参数（比如，α和β等），但我们也考虑了更充分的贝叶斯方法。 如果联合分布对于置换是不变的，那么一个有限的随机变量集{z 1 ......z N }被认为是可交换的。 如果π（此π非彼π）表示某种整数从1到N的置换规则，则： p(z 1 ......z N ) = p(z π(1) ......z π(N) ) 如果每个有限的子序列是可交换的，则无限序列的随机变量是无限可交换的。 De Finetti的表示定理指出，随机变量的无限可交换序列的联合分布就好像从一些分布中抽取的一个随机参数，以该参数为条件，所讨论的随机变量是独立同分布的。 在LDA中，我们假设单词是由主题（通过固定的条件分布）生成的，而且这些主题在文档中是无限可交换的。根据菲内蒂定理，一组词汇和话题的概率必须具有以下这种形式： θ是关于主题的多项式的随机参数。通过边缘化主题变量并赋予θ狄利克雷分布，在公式（3）中，我们获得了文档的LDA分布。 图1所示的LDA模型比传统分层贝叶斯文献中经常研究的两层模型要复杂得多。然而，通过边缘化隐藏的主题变量z，我们可以将LDA理解为两层模型。 特别是，让我们来构造单词分布p(w|θ,β)： 请注意，这是一个随机量，因为它取决于θ。 我们现在为文档 w 定义下面的生成过程：（对每篇文档） 该过程将文档的边际分布定义为连续混合分布：（注意下式表示的是语料库，而非一篇文档 的分布） 图2说明了LDA的这种解释。 它描绘了LDA模型的一个特定实例引发的p(w| θ,β)的分布。请注意，在（V-1） - simplex中的这种分布仅通过k + kV个参数实现，但展现出非常有趣的多模式结构。 在本节中，我们将LDA与文本的简单潜（隐）变量模型（一元模型，一元模型的混合模型和pLSI模型）进行比较。 此外，我们提出了这些模型的统一几何解释，突出了它们的主要区别和相似之处。 在一元模型下，每个文档的单词都是独立的按照某个多项分布而绘制的，生成文档的概率为： 如果我们用一个离散的随机主题变量z（图3b）来扩充一元模型，我们就可以得到一个混合一元模型（Nigam et al.，2000）。在这个混合模型下，首先选择一个主题z，然后从条件多项式p（w | z）独立的生成N个单词，从而生成每个文档（该文档中的所有词都来自一个主题）。一篇文档的概率分布： 在每个文档仅显示一个主题的假设背景下，当从语料库做概率估计时，可以将词语分布视为主题的表示。正如第7节的实证结果所示，这种假设通常限制性太强，以至于无法有效地建模量大的文献。 相反，LDA模型允许文档在不同程度上展示多个主题。这是以（增加）一个额外参数为代价实现的：在混合一元模型中有与p(z)相关的参数有k-1个，而在LDA中与p（θ | α）有关的参数有k个。 概率潜在语义索引（pLSI）是另一个广泛使用的文档模型（Hofmann，1999）。 如图3c所示，给定了未知的主题z，pLSI模型假设文档标签d和单词w n 是条件独立的： 使用pLSI的另一个困难（也是来自于通过训练文档进行索引的分布的使用）是必须估计的参数数量与训练文档的数量呈线性增长。k-主题pLSI模型的参数是在k个未知主题上，V和M混合大小的k个多项式分布。这给出了kV + kM个参数，因此在M中线性增长。参数的线性增长表明该模型容易出现过度拟合，并且根据经验确定，过拟合确实是一个严重的问题（参见第7.1节）。在实践中，使用回火试探来平滑模型的参数以获得可接受的预测性能。 然而，已经表明，即使在使用回火时也可能发生过度拟合（Popescul et al.，2001）。 LDA通过将主题混合权重视为一个k个参数的隐藏的随机变量，而不是大量与训练集明确关联的单个参数，来克服这两个问题。如第3节所述，LDA是一个良好定义的生成模型，可轻松推广到新文档。此外，k-topic LDA模型中的k + kV个参数不会随着训练语料库的大小而增长。我们将在7.1节看到，LDA不会遇到与pLSI相同的过度拟合问题。 说明LDA和其他潜在主题模型之间差异的一种好方法是考虑潜在空间的几何形状，并了解每个模型下文档在该几何体中的表示方式。 上述所有四种模型（unigram, mixture of unigrams, pLSI, and LDA）都是在单词分布空间中进行操作的。每个这样的分布可以被看作是（V-1） - simplex上的一个点，我们称之为词单纯形（the word simplex）。 一元模型在词单纯形上找到一个单一的点，并假定文集中的所有单词来自相应的分布。潜变量模型考虑词单纯形上的k个点，并根据这些点构成子单形体，我们称之为主题单纯形。请注意，主题单纯形上的任何一点也是单词单纯形上的一个点。不同的潜在变量模型以不同的方式使用主题单纯形来生成文档。 • 混合一元模型假设，对于每个文档，词单纯形中的k个点（即，主题单纯形的那些角中的一个）中的一个一旦随机选择后，文档的所有单词都从对应于那一点的分布中获取。 • pLSI模型假定训练文档的每个单词来自随机选择的主题。这些主题本身来自于文档在主题上的特征分布，也就是主题单纯形上的一个角点。每个文件有一个这样的分布，训练文档集因此定义了关于主题单纯形的经验分布。 • LDA假定观察到的（训练集）和未看到的（验证集）文档中的每个词都是由随机选择的主题生成的，该主题是从具有一个随机选择参数的分布中抽取的。 从主题单纯形的平滑分布中，每个文档对此参数进行一次采样。 这些差异在图4中突出显示。 我们描述了使用LDA背后的动机，并说明了其与其他潜在主题模型相比的概念优势。在本节中，我们将注意力转向LDA下的推理和参数估计。 为了使用LDA我们需要解决的关键推理问题是计算给定文档的隐藏变量的后验分布： 不幸的是，这种分布通常难以计算。 实际上，为了规范化分布，我们将忽视隐藏变量并根据模型参数重写方程（3）： 这是一个由于在潜在主题的总和中θ和β之间的耦合，而难以处理的函数（Dickey，1983）。Dickey表示这个函数是在Dirichlet分布的特定扩展下的期望，可以用特殊的超几何函数表示。它在贝叶斯环境中可用于删除（或审查，censored 暂时不明白怎么翻译）离散数据，以表示θ的后验（在该设置中，θ是随机参数）（Dickey等，1987）。 尽管后验分布对于精确推断是难以处理的，但是对于LDA可以考虑各种各样的近似推理算法，包括拉普拉斯近似，变分近似和马尔可夫链蒙特卡罗（Jordan，1999）。在本节中，我们描述了一个简单的基于凸性的变分算法，用于推断LDA，并讨论了第8节中的一些替代方案。 基于凸性的变分推理的基本思想是利用Jensen不等式来获得对数似然的可调下界（Jordan et al。，1999）。本质上，人们考虑一系列下界，它们由一组变分参数索引。变分参数由优化程序选择，该程序试图找到最可能的下限。 获得易处理的下界族的简单方法是考虑原始图形模型的简单修改，原始图形模型中一些边和节点已被移除。特别考虑图5（左）中所示的LDA模型。 θ和β之间的有问题的耦合是由于θ，z和w之间的边界而产生的。 通过丢弃这些边和w节点，并赋予所得到的简化图形模型以及自由变分参数，我们获得了潜在变量的一个分布族。这个分布族以下面这个变分分布为特征： 已经指定了简化的概率分布族，下一步是建立一个确定变分参数γ和Φ的值的优化问题。 正如我们在附录A中所示，找到对数似然的紧密下界的期望直接转化为以下优化问题： 因此，通过最小化变分分布和真实后验p（θ, z | w,α,β）之间的KullbackLeibler（KL）发散来找到变分参数的优化值。这种最小化可以通过迭代定点方法实现。 特别是，我们在附录A.3中表明，通过计算KL散度的导数并将它们设置为零，我们得到以下一对更新方程： 最近有新的项目做，没时间翻译啦，以后有时间再填坑，此处省略3000字......

SKEW和KURT

偏度：变量分布的偏斜程度，是指其取值分布的非对称程度。 峰度：变量分布的峰度，是指其取值分布密度曲线顶部的平坦程度或尖峭程度。

-0.114说明你的数据呈负偏态咯,但是这个系数没有显著性检验,你不知道到底偏度达到显著了没有,一般检验偏度是为了考察数据是否正态分布. 偏度系数在spss里面一般可以通过下面两种操作得到： 1、推荐你在spss菜单中选择分析——描述统计——探索,将需要检验的变量放入因变量里面,选择“绘制——带检验的正态图,不仅可以得到偏度系数,还可以了解数据是否正态,看一下tests of normality就可以,如果成正态,sig不会小于临界值. 2、选择分析——描述统计——频率——统计量,在分布那一行下面勾选偏度,然后点击OK,就可以得到偏度系数