多元线性回归

拟合优度（Goodness of Fit）是指回归直线对观测值的拟合程度。度量拟合优度的统计量是可决系数（亦称确定系数）R^2。R^2的取值范围是[0，1]。R^2的值越接近1，说明回归直线对观测值的拟合程度越好；反之，R^2的值越接近0，说明回归直线对观测值的拟合程度越差。

对原假设。在多元线性回归模型中的进行的变量显著性检验是有着对原假设的作用的。多元线性回归模型在实际经济问题中，一个变量往往受到多个变量的影响。

多元线性回归的显著性检验包含所有自变量与因变量。回归方程的显著性检验，即检验整个回归方程的显著性，或者说评价所有自变量与因变量的线性关系是否密切。能常采用F检验，F统计量的计算公式为：根据给定的显著水平a,自由度(k,n-k-1)查F分布表，得到相应的临界值Fa，若F>Fa，则回归方程具有显著意义，回归效果显著；F<Fa，则回归方程无显著意义，回归效果不显著。扩展资料：建立多元性回归模型时，为了保证回归模型具有优良的解释能力和预测效果，应首先注意自变量的选择，其准则是：(1)自变量对因变量必须有显著的影响，并呈密切的线性相关；(2)自变量与因变量之间的线性相关必须是真实的，而不是形式上的；(3)自变量之间应具有一定的互斥性，即自变量之间的相关程度不应高于自变量与因变量之因的相关程度；(4)自变量应具有完整的统计数据，其预测值容易确定。参考资料来源：百度百科-多元线性回归分析预测法

应该删除这个方差扩大因子VIF大于10 的变量，再重新线性回归，检验多重共线性。Vif大于10表明自变量间存在严重多重共线性，具体哪几个变量间存在还要看相应的表才行。主要看结果是否合理，能否用专业知识来解析！比如，回归系数的正负号是否符合常理，该有意义的变量是否纳入方程等。多重共线性只是会影响变量的显著性和符号等，如果两者受影响不大，对核心解释变量和被解释变量有较大影响的共线性严重变量也不用因为多重共线性而剔除。扩展资料：多元线性回归的基本原理和基本计算过程与一元线性回归相同，但由于自变量个数多，计算相当麻烦，一般在实际中应用时都要借助统计软件。这里只介绍多元线性回归的一些基本问题。由于都化成了标准分，所以就不再有常数项 a 了，因为各自变量都取平均水平时，因变量也应该取平均水平，而平均水平正好对应标准分 0 ，当等式两端的变量都取 0 时，常数项也就为 0 了。多元线性回归与一元线性回归类似，可以用最小二乘法估计模型参数，也需对模型及模型参数进行统计检验。选择合适的自变量是正确进行多元回归预测的前提之一，多元回归模型自变量的选择可以利用变量之间的相关矩阵来解决。参考资料来源：百度百科-多元线性回归

社会经济现象的变化往往受到多个因素的影响，因此，一般要进行多元回归分析，我们把包括两个或两个以上自变量的四归称为多元线性回归。

数值型变量、二元变量和分类型变量。数值型变量是指连续型变量，可以取到实数空间中任何数值；二元变量是指只有两种取值可能的变量，例如是/否、否/是等等；分类型变量则是指有三个及以上、取值是离散的类别单元的变量，例如性别、地区、职业等。在多元线性回归中，不同类型的自变量需要采取不同的编码方式，以便转化为数值型变量参与回归分析。

多元线性回归1.打开数据，依次点击：analyse--regression，打开多元线性回归对话框。2.将因变量和自变量放入格子的列表里，上面的是因变量，下面的是自变量。3.设置回归方法，这里选择最简单的方法：enter，它指的是将所有的变量一次纳入到方程。其他方法都是逐步进入的方法。4.等级资料，连续资料不需要设置虚拟变量。多分类变量需要设置虚拟变量。5.选项里面至少选择95%CI。点击ok。统计专业研究生工作室原创，请勿复杂粘贴

共线性是通过计算各个变量对应的容忍度（Tol）和方差膨胀因子（VIF）来判断的，然后剔除异常变量。共线性是多元线性回归内在机制固有的问题，无法避免。

当影响因变量的因素是多个时候，这种一个变量同时与多个变量的回归问题就是多元回归，分为：多元线性回归和多元非线性回归。这里直说多元线性回归。对比一元线性回归：1.1多元回归模型：1.2多元回归方程1.3估计的多元回归方程2.1**对参数的最小二乘法估计：** 和一元线性回归中提到的最小二乘法估计一样、这不过这里的求导变量多了点、原理是一样的、这里需要借助计算机求导、就不写了。3 回归方程的拟合优度：3.1多重判定系数：(Multiple coefficient of determination)注解：(1)对于多重判定系数有一点特别重要的需要说明：自变量个数的增加将影响到因变量中被估计的回归方程所解释的变量数量。当增加自变量时，会使预测误差变得较小，从而减小残差平方和SSE。自然就会是SSR变大。自然就会是R2变大。这就会引发一个问题。如果模型中增加一个自变量，即使这个自变量在统计上并不显著，R2的值也会变大。因此为了避免这个问题。提出了调整的多种判定系数

多元线性回归：1.打开数据，依次点击：analyse--regression，打开多元线性回归对话框。2.将因变量和自变量放入格子的列表里，上面的是因变量，下面的是自变量。3.设置回归方法，这里选择最简单的方法：enter，它指的是将所有的变量一次纳入到方程。其他方法都是逐步进入的方法。4.等级资料，连续资料不需要设置虚拟变量。多分类变量需要设置虚拟变量。5.选项里面至少选择95%CI，点击ok。计算模型一元线性回归是一个主要影响因素作为自变量来解释因变量的变化，在现实问题研究中，因变量的变化往往受几个重要因素的影响，此时就需要用两个或两个以上的影响因素作为自变量来解释因变量的变化，这就是多元回归亦称多重回归。当多个自变量与因变量之间是线性关系时，所进行的回归分析就是多元线性回归。 　设y为因变量X1,X2…Xk为自变量，并且自变量与因变量之间为线性关系时，则多元线性回归模型为：Y=b0+b1x1+…+bkxk+e

那就是纯粹从回归的角度谈变量选择。变量选择有很多种方法。最老套的是 f-statistics，应该就是答主p-value的来源。接下来就是一系列penalize 变量数的指标，包括adjusted R2，Mallow"s Cp, AIC, BIC这一类，原则上可以通过穷尽所有2^p组合来挑选变量，实际操作中通常采用forward backward 的方法。如果数据多变量也多的话，计算量还是很大。以上指标应该也可以用cross validation的MSE代替。上面这种方法可以看做是某种形式的L-0正则，当然也可以用L-1的正则，那就是lasso了，这个计算量比较小，所以比较流行一些。我知识范围里面的大概就这些了吧。

筛选变量法, 岭回归分析法, 主成分回归法和偏最小二乘回归法。关键词: 回归、SASSTAT、共线性、筛选变量、岭回归、主成分回归、偏最小二乘回归。中图分类号: 0212; C8 文献标识码: A 回归分析方法是处理多变量间相依关系的统计方法。它是数理统计中应用最为广泛的方法之一。在长期的大量的实际应用中人们也发现: 建立回归方程后, 因为自变量存在相关性, 将会增加参数估计的方差, 使得回归方程变得不稳定; 有些自变量对因变量(指标) 影响的显著性被隐蔽起来; 某些回归系数的符号与实际意义不符合等等不正常的现象。这些问题的出现原因就在于自变量的共线性。本文通过例子来介绍自变量共线性的诊断方法以及使用SA SSTA T 软件6. 12 版本中REG 等过程的增强功能处理回归变量共线性的一些方法。一、共线性诊断共线性问题是指拟合多元线性回归时, 自变量之间存在线性关系或近似线性关系。共线性诊断的方法是基于对自变量的观测数据构成的矩阵X′X 进行分析, 使用各种反映自变量间相关性的指标。共线性诊断常用统计量有方差膨胀因子V IF (或容限TOL )、条件指数和方差比例等。方差膨胀因子V IF 是指回归系数的估计量由于自变量共线性使得其方差增加的一个相对度量。对第i 个回归系数, 它的方差膨胀因子定义为 V I F i = 第i 个回归系数的方差自变量不相关时第i 个回归系数的方差 = 1 1 - R 2 i = 1 TOL i 其中R 2 i 是自变量xi 对模型中其余自变量线性回归模型的R 平方。V IFi 的倒数TOL i 也称为容限( To lerance )。一般建议, 若V IF> 10, 表明模型中有很强的共线性问题。若矩阵X′X 的特征值为d 2 1 ≥d 2 2 ≥…≥d 2 k, 则X 的条件数 d1 dk 就是刻划它的奇性的一个指标。故称 d1 dj (j= 1, …, k) 为条件指数。一般认为, 若条件指数值在10 与30 间为弱相关; 在30 与100 间为中等相关; 大于100 表明有强相关。对于大的条件指数, 还需要找出哪些变量间存在强的线性关系。因为每个条件指数对应一 9 4 处理多元线性回归中自变量共线- 性的几种方法个特征向量, 而大的条件指数相应的特征值较小, 故构成这一特征向量的变量间有近似的线性关系。在统计中用方差比例来说明各个自变量在构成这个特征向量中的贡献。一般建议, 在大的条件指数中由方差比例超过0. 5 的自变量构成的变量子集就认为是相关变量集。

绘制散点图矩阵，看每个自变量是否和因变量属于线性关系，如果每个自变量跟因变量都属于线性，那么可以认为是线性关系。当然回归分析结束，可以再绘制残差与自变量的关系看，如果残差与自变量没有任何关系，而是围绕着0上下波动，也认为线性关系合理

eviews多元线性回归分析选取变量最好选择2个。线性回归试图学到一个线性模型，尽可能的准确的预测出真实值。 就是给机器数据集，其中包括x特征值和对应的y值，通过训练得出一个模型，再只拿一些x特征值给它，这个模型给你预测出较为精准的y值。多元线性回归分析的原理：多元回归分析作为多变量分析的基础，也是理解监督类分析方法的入口！实际上大部分学习统计分析和市场研究的人的都会用回归分析，操作也是比较简单的，但能够知道多元回归分析的适用条件或是如何将回归应用于实践，可能还要真正领会回归分析的基本思想和一些实际应用手法。

需要的话加qq

要

多元线性回归分析要求自变量正态分布吗? 不要求；自变量为连续性资料但是非正态分布可以吗？可以。

变量选择有很多种方法。最老套的是 f-statistics，应该就是答主p-value的来源。接下来就是一系列penalize 变量数的指标，包括adjusted R2，Mallow"s Cp, AIC, BIC这一类，原则上可以通过穷尽所有2^p组合来挑选变量，实际操作中通常采用forward backward 的方法。如果数据多变量也多的话，计算量还是很大。以上指标应该也可以用cross validation的MSE代替。上面这种方法可以看做是某种形式的L-0正则，当然也可以用L-1的正则，那就是lasso了，这个计算量比较小，所以比较流行一些。我知识范围里面的大概就这些了吧。

变量选择有很多种方法。最老套的是 f-statistics，应该就是答主p-value的来源。接下来就是一系列penalize 变量数的指标，包括adjusted R2，Mallow"s Cp, AIC, BIC这一类，原则上可以通过穷尽所有2^p组合来挑选变量，实际操作中通常采用forward backward 的方法。如果数据多变量也多的话，计算量还是很大。以上指标应该也可以用cross validation的MSE代替。上面这种方法可以看做是某种形式的L-0正则，当然也可以用L-1的正则，那就是lasso了，这个计算量比较小，所以比较流行一些。

虚变量又称虚设变量、名义变量或哑变量，用以反映质的属性的一个人工变量，是量化了的自变量，通常取值为0或1。偏回归系数是指是多元回归问题出现的一个特殊性质，当其他的各自变量都保持一定时，指定的某一自变量每变动一个单位，因变量y增加或减少的数值。虚拟变量是计量经济学中的概念，例如，反映文化程度的虚拟变量可取为：1：本科学历；0：非本科学历。一般地，在虚拟变量的设置中：基础类型、肯定类型取值为1；比较类型，否定类型取值为0。设自变量x1，x2，?，xm与因变量y都具有线性关系，可建立回归方程：_=b0+b1x1+b2x2+?+bmxm。式中b1，b2，bm为相应于各自变量的偏回归系数。表示当其他的各自变量都保持一定时，指定的某一自变量每变动一个单位，因变量y增加或减少的数值。

logistic回归的条件较为苛刻，不过你可以试一下，我也做出logistic回归的拟合优度较低。你是logistic二元还是多元。logistic是解决二分类（或多分类、等级）的问题，因变量是不可以用数值型的，不过你可以把数值型的数据进行分类，效果好不好就不知道了。

绘制散点图矩阵，看每个自变量是否和因变量属于线性关系，如果每个自变量跟因变量都属于线性，那么可以认为是线性关系。当然回归分析结束，可以再绘制残差与自变量的关系看，如果残差与自变量没有任何关系，而是围绕着0上下波动，也认为线性关系合理

分类变量要处理的我经常帮别人做类似的数据分析的

非标准化系数就是回归方程的斜率，表示每个自变量变化1个单位，因变量相应变化多少个单位，该系数与自变量所取的单位有关，一般不用来衡量自变量的影响力大小。标准化系数消除了自变量单位的影响，其大小可以衡量每个自变量对因变量的影响力之大小，一般来说，标准化系数的绝对值越大，该自变量对因变量的影响力就越大。SPSS（Statistical Product and Service Solutions），“统计产品与服务解决方案”软件。最初软件全称为“社会科学统计软件包”（SolutionsStatistical Package for the Social Sciences），但是随着SPSS产品服务领域的扩大和服务深度的增加，SPSS公司已于2000年正式将英文全称更改为“统计产品与服务解决方案”，这标志着SPSS的战略方向正在做出重大调整。SPSS为IBM公司推出的一系列用于统计学分析运算、数据挖掘、预测分析和决策支持任务的软件产品及相关服务的总称，有Windows和Mac OS X等版本。1984年SPSS总部首先推出了世界上第一个统计分析软件微机版本SPSS/PC+，开创了SPSS微机系列产品的开发方向，极大地扩充了它的应用范围，并使其能很快地应用于自然科学、技术科学、社会科学的各个领域。世界上许多有影响的报刊杂志纷纷就SPSS的自动统计绘图、数据的深入分析、使用方便、功能齐全等方面给予了高度的评价。

选择最好的自变量。其着眼点是拟合回归方程的一组自变量整体，用该组自变量应使回归方程拟合得最好。选择对应变量作最好解释的主要自变量。

变量选择有很多种方法。最老套的是 f-statistics，应该就是答主p-value的来源。接下来就是一系列penalize 变量数的指标，包括adjusted R2，Mallow"s Cp, AIC, BIC这一类，原则上可以通过穷尽所有2^p组合来挑选变量，实际操作中通常采用forward backward 的方法。如果数据多变量也多的话，计算量还是很大。以上指标应该也可以用cross validation的MSE代替。上面这种方法可以看做是某种形式的L-0正则，当然也可以用L-1的正则，那就是lasso了，这个计算量比较小，所以比较流行一些。我知识范围里面的大概就这些了吧。

1．多元线性回归模型 　　　　　　　　　　　 4.2.1其中X1、X2、……Xm为m个自变量(即影响因素)；β0、β1、β2、……βm为m+1个总体回归参数(也称为回归系数)；ε为随机误差。　　当研究者通过试验获得了(X1，X2，…，Xm，Y)的n组样本值后，运用最小平方法便可求出式4.2.1中各总体回归参数的估计值b0、b1、b2、……bm，于是，多元线性回归模型4.2.1变成了多元线性回归方程式4.2.2。 　　　　　　　　　　　　 (4.2.2)　　2．回归分析的任务　　多元回归分析的任务就是用数理统计方法估计出式4.2.2中各回归参数的值及其标准误差；对各回归参数和整个回归方程作假设检验；对各回归变量(即自变量)的作用大小作出评价；并利用已求得的回归方程对因变量进行预测、对自变量进行控制等等。　　3．标准回归系数及其意义　　对回归系数作检验可直接用式(4.2.2)中的bi及其标准误差所提供的信息；但要想对各回归系数之间进行比较就不那么方便了，因为各bi的值受各变量单位的影响。为便于比较，需要求出标准化回归系数，消除仅由单位不同所带来的差别。　　设∶与一般回归系数bi对应的标准化回归系数为Bi，则　　　　　　　　　　　　　　　　　　　　　　　　 (4.2.3)式(4.2.3)中的SXi、SY分别为自变量Xi和Y的标准差。　　值得注意的是∶一般认为标准化回归系数的绝对值越大，所对应的自变量对因变量的影响也就越大。但是，当自变量彼此相关时，回归系数受模型中其他自变量的影响，若遇到这种情况，解释标准化回归系数时必须采取谨慎的态度。当然，更为妥善的办法是通过回归诊断(The Diagnosis of Regression)，了解哪些自变量之间有严重的多重共线性(Multicoll-inearity)，从而，舍去其中作用较小的变量，使保留下来的所有自变量之间尽可能互相独立。此时，利用标准化回归系数作出解释，就更为合适了。　　4．自变量为定性变量的数量化方法　　设某定性变量有k个水平(如ABO血型系统有4个水平),若分别用1、2、…、k代表k个水平的取值，是不够合理的。因为这隐含着承认各等级之间的间隔是相等的，其实质是假定该因素的各水平对因变量的影响作用几乎是相同的。　　比较妥当的做法是引入k－1个哑变量(Dummy Variables),每个哑变量取值为0或1。现以ABO血型系统为例，说明产生哑变量的具体方法。　　当某人为A型血时，令X1=1、X2=X3=0；当某人为B型血时，令X2=1、X1=X3=0；当某人为AB型血时，令X3=1、X1=X2=0；当某人为O型血时，令X1=X2=X3=0。　　这样，当其他自变量取特定值时，X1的回归系数b1度量了E(Y／A型血)－E(Y／O型血)的效应； X2的回归系数b2度量了E(Y／B型血)－E(Y／O型血)的效应； X3的回归系数b3度量了E(Y／AB型血)－E(Y／O型血)的效应。相对于O型血来说，b1、b2、b3之间的差别就较客观地反映了A、B、AB型血之间的差别。　　[说明]　E(Y／*)代表在“*”所规定的条件下求出因变量Y的期望值(即理论均值)。　　5．变量筛选　　研究者根据专业知识和经验所选定的全部自变量并非对因变量都是有显著性影响的,故筛选变量是回归分析中不可回避的问题。然而，筛选变量的方法很多，详见本章第3节，这里先介绍最常用的一种变量筛选法──逐步筛选法。　　模型中的变量从无到有，根据F统计量按SLENTRY的值(选变量进入方程的显著性水平)决定该变量是否入选；当模型选入变量后，再根据F统计量按SLSTAY的值(将方程中的变量剔除出去的显著性水平)剔除各不显著的变量，依次类推。这样直到没有变量可入选,也没有变量可剔除或入选变量就是刚剔除的变量，则停止逐步筛选过程。在SAS软件中运用此法的关键语句的写法是∶　　MODEL Y = 一系列的自变量 / SELECTION=STEPWISE SLE=p1 SLS=p2;具体应用时，p1、p2应分别取0～1之间的某个数值。

对变量进行剥离：1、a是因变量，b，c，d是解释变量。2、b与c，d也有相关关系，可再做一次线性回归求得b=α+β*c+γ*d，然后把b换为α+残差，c，d的系数并入原方程中。线性回归方程利用数理统计中的回归分析，来确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法之一。线性回归在回归分析中第一种经过严格研究并在实际应用中广泛使用的类型。按自变量个数可分为一元线性回归分析方程和多元线性回归分析方程。扩展资料：线性回归有很多实际用途。分为以下两大类：1、如果目标是预测或者映射，线性回归可以用来对观测数据集的和X的值拟合出一个预测模型。当完成这样一个模型以后，对于一个新增的X值，在没有给定与它相配对的y的情况下，可以用这个拟合过的模型预测出一个y值。2、给定一个变量y和一些变量X1,...,Xp，这些变量有可能与y相关，线性回归分析可以用来量化y与Xj之间相关性的强度，评估出与y不相关的Xj，并识别出哪些Xj的子集包含了关于y的冗余信息。参考资料来源：百度百科-线性回归方程

我老师说可以对变量进行剥离，比如a是因变量，b,c,d,是解释变量，若b与c,d也有相关关系，可再做一次线性回归求得b=α+β*c+γ*d,然后把b换为α+残差，c,d的系数并入原方程中。

不一样。回归分析是多个变量之间的关系。方差分析是多个样本之间的差异。

在做回归预测时需要分析的数据往往是多变量的，那么我们在做多元回归时就需要特别注意了解我们的数据是否能够满足做多元线性回归分析的前提条件。应用多重线性回归进行统计分析时要求满足哪些条件呢？总结起来可用四个词来描述：线性、独立、正态、齐性。（1）自变量与因变量之间存在线性关系这可以通过绘制”散点图矩阵”进行考察因变量随各自变量值的变化情况。如果因变量Yi 与某个自变量X i 之间呈现出曲线趋势，可尝试通过变量变换予以修正，常用的变量变换方法有对数变换、倒数变换、平方根变换、平方根反正弦变换等。（2）各观测间相互独立任意两个观测残差的协方差为0 ，也就是要求自变量间不存在多重共线性问题。对于如何处理多重共线性问题，请参考《多元线性回归模型中多重共线性问题处理方法》（3）残差e 服从正态分布N(0,σ2) 。其方差σ2 = var (ei) 反映了回归模型的精度， σ 越小，用所得到回归模型预测y的精确度愈高。（4） e 的大小不随所有变量取值水平的改变而改变，即方差齐性。

在做回归预测时需要分析的数据往往是多变量的，那么我们在做多元回归时就需要特别注意了解我们的数据是否能够满足做多元线性回归分析的前提条件。应用多重线性回归进行统计分析时要求满足哪些条件呢？总结起来可用四个词来描述：线性、独立、正态、齐性。（1）自变量与因变量之间存在线性关系这可以通过绘制”散点图矩阵”进行考察因变量随各自变量值的变化情况。如果因变量Yi 与某个自变量X i 之间呈现出曲线趋势，可尝试通过变量变换予以修正，常用的变量变换方法有对数变换、倒数变换、平方根变换、平方根反正弦变换等。（2）各观测间相互独立任意两个观测残差的协方差为0 ，也就是要求自变量间不存在多重共线性问题。对于如何处理多重共线性问题，请参考《多元线性回归模型中多重共线性问题处理方法》（3）残差e 服从正态分布N(0,σ2) 。其方差σ2 = var (ei) 反映了回归模型的精度， σ 越小，用所得到回归模型预测y的精确度愈高。（4） e 的大小不随所有变量取值水平的改变而改变，即方差齐性。

可以。置虚拟变量的个数是水平数减1，不然会有虚拟陷阱的问题。比如只需要设置一月到十一月的变量为D1.。D11 只能取0和1，都取0的时候就代表12月。在做回归预测时需要分析的数据往往是多变量的，在做多元回归时就需要特别注意了解数据是否能够满足做多元线性回归分析的前提条件。残差e 服从正态分布N(0,σ2) 。其方差σ2 = var (ei) 反映了回归模型的精度， σ 越小，用所得到回归模型预测y的精确度愈高。e 的大小不随所有变量取值水平的改变而改变，即方差齐性。扩展资料：多元线性回归的基本原理和基本计算过程与一元线性回归相同，但由于自变量个数多，计算相当麻烦，一般在实际中应用时都要借助统计软件。这里只介绍多元线性回归的一些基本问题。由于都化成了标准分，所以就不再有常数项a了，因为各自变量都取平均水平时，因变量也应该取平均水平，而平均水平正好对应标准分0，当等式两端的变量都取0时，常数项也就为0了。多元线性回归与一元线性回归类似，可以用最小二乘法估计模型参数，也需对模型及模型参数进行统计检验。选择合适的自变量是正确进行多元回归预测的前提之一，多元回归模型自变量的选择可以利用变量之间的相关矩阵来解决。参考资料来源：百度百科-多元线性回归

不管是什么定性变量变虚拟变量都是其中一个作参照类，你这四个年份，可以变成三个虚拟变量。参照类2007不管，第一个虚拟变量是将年度变量中2008=1，其它设为0。第二个是将2009=1，其它设为0.第三个变量是令2010=1，其它为0.在spss中用recode菜单。明白？

可以。置虚拟变量的个数是水平数减1，不然会有虚拟陷阱的问题。比如只需要设置一月到十一月的变量为D1.。D11 只能取0和1，都取0的时候就代表12月。在做回归预测时需要分析的数据往往是多变量的，在做多元回归时就需要特别注意了解数据是否能够满足做多元线性回归分析的前提条件。残差e 服从正态分布N(0,σ2) 。其方差σ2 = var (ei) 反映了回归模型的精度， σ 越小，用所得到回归模型预测y的精确度愈高。e 的大小不随所有变量取值水平的改变而改变，即方差齐性。扩展资料：多元线性回归的基本原理和基本计算过程与一元线性回归相同，但由于自变量个数多，计算相当麻烦，一般在实际中应用时都要借助统计软件。这里只介绍多元线性回归的一些基本问题。由于都化成了标准分，所以就不再有常数项a了，因为各自变量都取平均水平时，因变量也应该取平均水平，而平均水平正好对应标准分0，当等式两端的变量都取0时，常数项也就为0了。多元线性回归与一元线性回归类似，可以用最小二乘法估计模型参数，也需对模型及模型参数进行统计检验。选择合适的自变量是正确进行多元回归预测的前提之一，多元回归模型自变量的选择可以利用变量之间的相关矩阵来解决。参考资料来源：百度百科-多元线性回归

日只涉及一个自变量的一元线性回归模型可表示为: 回归模型中,

如下：1、随机误差项是一个期望值或平均值为0的随机变量。2、对于解释变量的所有观测值，随机误差项有相同的方差。3、随机误差项彼此不相关。4、解释变量是确定性变量，不是随机变量，与随机误差项彼此之间相互独立。5、解释变量之间不存在精确的（完全的）线性关系，即解释变量的样本观测值矩阵是满秩矩阵。6、随机误差项服从正态分布。多元线性回归简介在回归分析中，如果有两个或两个以上的自变量，就称为多元回归。事实上，一种现象常常是与多个因素相联系的，由多个自变量的最优组合共同来预测或估计因变量，比只用一个自变量进行预测或估计更有效，更符合实际。因此多元线性回归比一元线性回归的实用意义更大。

包括筛选变量法, 岭回归分析法, 主成分回归法和偏最小二乘回归法。关键词: 回归、SASSTAT、共线性、筛选变量、岭回归、主成分回归、偏最小二乘回归。中图分类号: 0212; C8 文献标识码: A 回归分析方法是处理多变量间相依关系的统计方法。它是数理统计中应用最为广泛的方法之一。在长期的大量的实际应用中人们也发现: 建立回归方程后, 因为自变量存在相关性, 将会增加参数估计的方差, 使得回归方程变得不稳定; 有些自变量对因变量(指标) 影响的显著性被隐蔽起来; 某些回归系数的符号与实际意义不符合等等不正常的现象。这些问题的出现原因就在于自变量的共线性。本文通过例子来介绍自变量共线性的诊断方法以及使用SA SSTA T 软件6. 12 版本中REG 等过程的增强功能处理回归变量共线性的一些方法。一、共线性诊断共线性问题是指拟合多元线性回归时, 自变量之间存在线性关系或近似线性关系。共线性诊断的方法是基于对自变量的观测数据构成的矩阵X′X 进行分析, 使用各种反映自变量间相关性的指标。共线性诊断常用统计量有方差膨胀因子V IF (或容限TOL )、条件指数和方差比例等。方差膨胀因子V IF 是指回归系数的估计量由于自变量共线性使得其方差增加的一个相对度量。对第i 个回归系数, 它的方差膨胀因子定义为 V I F i = 第i 个回归系数的方差自变量不相关时第i 个回归系数的方差 = 1 1 - R 2 i = 1 TOL i 其中R 2 i 是自变量xi 对模型中其余自变量线性回归模型的R 平方。V IFi 的倒数TOL i 也称为容限( To lerance )。一般建议, 若V IF> 10, 表明模型中有很强的共线性问题。若矩阵X′X 的特征值为d 2 1 ≥d 2 2 ≥…≥d 2 k, 则X 的条件数 d1 dk 就是刻划它的奇性的一个指标。故称 d1 dj (j= 1, …, k) 为条件指数。一般认为, 若条件指数值在10 与30 间为弱相关; 在30 与100 间为中等相关; 大于100 表明有强相关。对于大的条件指数, 还需要找出哪些变量间存在强的线性关系。因为每个条件指数对应一 9 4 处理多元线性回归中自变量共线- 性的几种方法个特征向量, 而大的条件指数相应的特征值较小, 故构成这一特征向量的变量间有近似的线性关系。在统计中用方差比例来说明各个自变量在构成这个特征向量中的贡献。一般建议, 在大的条件指数中由方差比例超过0. 5 的自变量构成的变量子集就认为是相关变量集。二、筛选变量的方法变量筛选的一些方法除了把对因变量Y 影响不显著的自变量删除之外, 还可以从有共线关系的变量组中筛选出对因变量Y 影响显著的少数几个变量。例 1 (水泥数据) 某种水泥在凝固时放出的热量Y (卡克) 与水泥中下列四种化学成份有关: x1 ( 3CaO. A l2O3 的成份)、x2 (3CaO. SiO2 的成份)、x3 (4CaO. A l2O3. Fe 2 O3 的成份) 和x4 (2CaO. SiO2 的成份)。共观测了13 组数据(见表1) , 试用REG 过程分析水泥数据, 求出Y 与 x1, x2, x3, x4 的最优回归式。 表1 水泥数据序号 x1 x2 x3 x4 Y 1 2 3 4 5 6 7 8 9 10 11 12 13 7 1 11 11 7 11 3 1 2 21 1 11 10 26 29 56 31 52 55 71 31 54 47 40 66 68 6 15 8 8 6 9 17 22 18 4 23 9 8 60 52 20 47 33 22 6 44 22 26 34 12 12 78. 5 74. 3 104. 3 87. 6 95. 9 109. 2 102. 7 72. 5 93. 1 115. 9 83. 8 113. 3 109. 4 解 (1) 首先用REG 过程对自变量的共线性进行诊断, 只需在MODEL 语句的斜杠() 后使用选项V IF 和COLL INO IN T (或 COLL IN ) , 以下SA S 程序输出的部分结果见输出1. 1 (假设表1 中的数据已生成SA S 数据集D1)。 p roc reg data= d1; model y= x1- x4 vif co llino int; run; 由输出1. 1 的参数估计部分, 可以得出: ① 4 个自变量的方差膨胀因子( V IF ) 均大于10, 最大为282. 51, 表示变量之间有严重的多重共线关系。② 回归方程的截距项= 0 的假设是相容的( p 值= 0. 3991) ; ③ 所有自变量在Α= 0. 05 的显著水平下对因变量的影响均不显著(有三个变量的p 值大于0. 5) , 而回归方程是高度显著的(p 值= 0. 0001, 输出1. 1 没有显示) , 这说明自变量对因变量的显著影响均被变量间的多重相关性隐藏了。由输出1. 1 的共线性诊断部分, 可以得出: ① 最大条件指数37. 1> 30, 说明4 个自变量间有中等相关关系; ② 与最大条件指数在一行的4 个变量的方差比例均大于0. 5, 这说明这4 个变量就是一个具有中等相关的变量集。 输出1. 1 水泥数据共线性诊断的部分结果 (2) 用逐步回归方法从相关变量集中选出“最优”回归子集, 当引入和删除的显著性水平Α取为0. 05 时, 入选的自变量为x1 和 x4; 当显著性水平 Α取为 0. 10 或0. 15 时, 则入选的自变量为x1 和x2。可见用逐步筛选的方法得到的回归子集与显著水平的选取 0 5 数理统计与管理 20 卷 5 期 2000 年9 月有关, 选出的子集是某个较优的回归方程。容易验证这里得到的两个子集中变量对Y 的影响都是高度显著的, 且自变量的方差膨胀因子V IF 值都小于1. 1, 表明已没有共线问题。 ( 3) 用全子集法计算所有可能回归, 从中选出最优的回归方程。以下 SA S 程序中, MODEL 语句斜杠() 后的选项指出用R 2 选择法, 要求对每种变量个数输出二个最佳的回归子集, 并输出均方根误差、CP、A IC 和修正R 2 统计量, 产生的结果见输出1. 2。 p roc reg data= d431; model y= x12x4 select ion= rsquare best= 2 cp aic rm se adjrsq; run; 输出1. 2 对水泥数据计算所有可能回归的部分结果 在模型中变量个数固定为2 的回归子集中选出的最优回归子集是x1 和x2, 其次是x1 和 x4。如果按均方根误差最小的准则、修正R 2 最大准则及A IC 最小准则, 选出的最优子集都是 x1、x2 和x4。但在回归系数的显著性检验中, x4 对Y 的作用不显著( p= 0. 2054) ; 且x2 和x4 的方差膨胀因子V IF 值> 10, 共线诊断的结论也说明x2 和x4 是相关的变量集。而按CP 统计量最小淮则选出的最优回归子集为x1 和x2。综合以上分析可得出Y 与x1、x2 的回归方程是可用的最优方程。用筛选变量的方法从有共线性的变量组中筛选出对因变量Y 影响显著的若干个变量来建立最优回归式, 不仅克服了共线性问题, 且使得回归式简化; 但有些实际问题希望建立Y与 给定自变量的回归式, 既使自变量有共线性问题, 如经济分析中的问题。下面三种方法都是针对这类问题而给出的方法。三、岭回归方法在经典多元线性回归分析中, 参数Β= ( Β0, Β1,. . . , Βm ) ′的最小二乘估计b= ( b0, b1,. . . , bm ) ′的均方误差为E{ ( b- Β) ′(b- Β) }, 当自变量存在多重共线关系时, 均方误差将变得很大, 故从均方误差的角度看, b 不是Β的好估计。减少均方误差的方法就是用岭回归估计替代最小二乘估计。设k≥0, 则称 b (k) = (X ′X + k I ) - 1 X ′Y为Β的岭回归估计。用岭回归估计建立的回归方程称为岭回归方程。当k= 0 时b (0) = b 就是Β的最小二乘估计。从理论上可以证明, 存在k> 0, 使得b (k) 的均方误差比b 的均方误差小; 但使得均方误差达到最小的k 值依赖于未知参数Β和Ρ 2 。因此k 值的确定是岭回归分析中关键。在实际应用中, 通常确定k 值的方法有以下几种: ① 岭迹图法, 即对每个自变量xi, 绘制随k 值的变化岭回归估计bi (k) 的变化曲线图。一般选择k 使得各个自变量的岭迹趋于稳定。②方差膨胀因子法, 选择k 使得岭回归估计的V IF< 10。③ 控制残差平方和法, 即通过限制b 1 5 处理多元线性回归中自变量共线- 性的几种方法 ( k ) 估计的残差平方和不能超过cQ (其中c> 1 为指定的常数, Q 为最小二乘估计的残差平方和) 来找出最大的k 值。下面通过例子来介绍岭回归分析。例2: 经济分析数据的岭回归分析 考察进口总额Y 与三个自变量: 国内总产值x1, 存储量x2, 总消费量x3 (单位均为十亿法郎) 有关。现收集了1949 年至1959 年共11 年的数据(见表2)。对表2 的数据试用REG 过程求进口总额与总产值、存储量和总消费量的定量关系式。 表2 经济分析数据序号 x1 x2 x3 Y 1 2 3 4 5 6 7 8 9 10 11 149. 3 161. 2 171. 5 175. 5 180. 8 190. 7 202. 1 212. 4 226. 1 231. 9 239. 0 4. 2 4. 1 3. 1 3. 1 1. 1 2. 2 2. 1 5. 6 5. 0 5. 1 0. 7 108. 1 114. 8 123. 2 126. 9 132. 1 137. 7 146. 0 154. 1 162. 3 164. 3 167. 6 15. 9 16. 4 19. 0 19. 1 18. 8 20. 4 22. 7 26. 5 28. 1 27. 6 26. 3 解 (1) 使用REG 过程来建立 Y 与x1、x2、x3 的回归关系式。以下 SA S 程序产生的完整输出结果这里省略了( 假设表 2 中的数据已生成 SA S 数据集D2)。 p roc reg data= d2 co rr; model y = x1 - x3 vif co llin; run; 由REG 过程得到的回归方程为: Y = - 10. 128 - 0. 051 x 1 + 0. 587 x 2 + 0. 287 x 3 变量x 1 的系数为负值, 这与实际情况不符。出现此现象的原因是变量x 1 与x 3 线性相关: Θ(x 1, x 3) = 0. 997。在MOD EL 语句后加上选项V IF 和COL L IN 产生的输出(省略了) 可以更清楚地看出x 1 和x 3 是多重相关的变量集。为了消除变量之间的多重共线关系, 岭回归就是一个有效的方法。 (2) 在MOD EL 语句的斜杠() 后由选项R IDGE = 指定一组k 值来完成岭回归分析。在 PL OT 语句中由选项R IDGEPL OT 要求绘制岭迹图。PROC R EG 语句的选项OU T ES T = OU T 2 要求把这一组k 值的岭回归估计送到输出数据集OU T 2 中, 选项OU TV IF 还要求把岭回归估计的方差膨胀因子( V IF ) 送到输出集中。以下SA S 程序的部分输出结果见输出2. 1 和输出2. 2。 p roc reg data= d2 outest= out2 graphics outvif; model y= x1- x3 ridge= 0. 0 to 0. 1 by 0. 01 0. 2 0. 3 0. 4 0. 5; p lo t ridgep lo t; p roc p rint data= out2; run; 输出2. 1 经济分析数据的岭迹图 2 5 数理统计与管理 20 卷 5 期 2000 年9 月 由岭迹图可以看出, 当k≥0. 02 后, 岭迹曲线趋于稳定。取k= 0. 02 的岭回归估计来建立岭回归方程, 由输出2. 2 可以写出岭回归方程式为: Y = - 8. 9277 + 0. 057 x 1 + 0. 59542 x 2 + 0. 127 x 3 这时得到的岭回归方程中回归系数的符号都有意义; 各个回归系数的方差膨胀因子均小于3 (见输出2. 2 中OBS 为6 的那一行) ; 岭回归方程的均方根误差(- RM SE- = 0. 57016) 虽比普通最小二乘回归方程的均方根误差( - RM SE- = 0. 48887) 有所增大, 但增加不多。输出2. 2 经济分析数据的输出数据集(部分) 四、主成分回归法主成分分析是将具有多重相关的变量集综合得出少数几个互不相关的综合变量——主成分的统计方法。主成分回归首先找出自变量集的主成分, 然后建立Y 与互不相关的前几个主成分的回归关系式, 最后还原为原自变量的回归方程式——主成分回归式。例3: 经济分析数据的主成分回归分析 解 使用REG 过程做主成分回归。在SA SSTA T 软件的6112 版本中, 用REG 过程提供的选项可完成主成分回归的计算。SA S 程序如下: p roc reg data= d2 outest= out3 ; model y= x1- x3 pcom it= 1, 2 outvif; p roc p rint data= out3; run; 在MODEL 语句的斜线() 后通过选项PCOM IT = 1, 2 表示要求删去最后面(即最不重要) 的1 个或2 个主成分之后, 用前面m - 1 个主成分或前面m - 2 个主成分( m 为自变量的个数, 此例中m = 3) 进行主成分回归。主成分回归的结果存放在SA S 数据集OU T3 中。由输出3. 1 可以得出删去第三个主成分(PCOM IT= 1) 后的主成分回归方程(见输出3. 1 中OBS 为3 的那一行) 为 Y= - 9. 1301+ 0. 07278 x1+ 0. 60922 x2+ 0. 10626 x3 输出3. 1 经济分析数据主成分回归的结果 这个主成分回归方程中回归系数的符号都是有意义的; 各个回归系数的方差膨胀因子均小于1. 1 (见输出3. 1 中OBS 为2 的那一行) ; 主成分回归方程的均方根误差( - RM SE- = 0. 55) 虽比普通回归方程的均方根误差( - RM SE- = 0. 48887) 有所增大, 但增加不多。 3 5 处理多元线性回归中自变量共线- 性的几种方法五、偏最小二乘回归法偏最小二乘( PL S ) 回归是工业应用中用于软建模的流行方法。当多个因变量间以及多个自变量间存在严重的多重相关时, PL S 是构造预测模型的一种有效方法。偏最小二乘回归的基本作法是首先在自变量集中提取第一潜因子 t1 ( t1 是x 1, x 2, …, xm 的线性组合, 且尽可能多地提取原自变量集中的变异信息, 比如第一主成分) ; 同时在因变量集中也提取第一潜因子u1, 并要求t1 与u1 相关程度达最大。然后建立因变量Y 与 t1 的回归, 如果回归方程已达到满意的精度, 则算法终止。否则继续第二轮潜在因子的提取, 直到能达到满意的精度为止。若最终对自变量集提取l 个潜因子 t1, t2, …, tl , 偏最小二乘回归将通过建立Y与t1, t2, …, tl 的回归式, 然后再表示为Y 与原自变量的回归方程式。 SA S S TA T 软件6. 12 版本提供一个试验性过程PL S (在SA S 系统8. 0 版本中PL S 已作为正式过程提供给用户) 可完成偏最小二乘回归。以下仍以经济分析数据为例介绍偏最小二乘回归。例4: 经济分析数据的偏最小二乘回归分析 解 使用PL S 过程做偏最小二乘回归。以下SA S 程序中选项M ETHOD= 规定抽取因子的方法为SIM PL S, 这是一个比标准PL S 更有效的算法; 选项CV = ON E 要求用删去一个观测的交叉确认方法决定抽取潜在因子的个数; OU TMODEL = 命名存放模型信息的输出数据集为O454 (输出的部分结果见输出4. 1)。 p roc p ls data= d2 outmodel= out4 cv= one method= simp ls ; model y= x1- x3 ; p roc p rint data= out4; run; 输出4. 1 经济分析数据偏最小二乘回归的结果 输出4. 1 的第一部分给出抽取潜在变量的个数及相应的用于度量拟合效果的预测残差平 4 5 数理统计与管理 20 卷 5 期 2000 年9 月方和( PRESS ) 的均方根值, 并指出在L = 2 时预测残差平方和的均方根达最小。输出的第二部分给出第一、二个潜在变量所解释的变差的百分数(包括自变量和因变量两方面) ; 输出的第三部分给出所拟合的模型的信息(数据集OU T4 的内容)。其中OBS 为2 和3 的行给出自变量和因变量的均值和标准差; OBS 为7 的行给出抽取二个潜在因子时的偏最小二乘估计, 由估计值可以写出标准化回归方程为( Y 和xζ表示Y 和x 的标准化变量) : Y = 0. 477 x 1 + 0. 2212 x 2 + 0. 486 x 3 用原始变量可表示为 Y = - 8. 2486 + 0. 0677 x 1 + 0. 6094 x 2 + 0. 1070 x 3 以上偏最小二乘回归方程中回归系数的符号都是有意义的。偏最小二乘回归的均方根误差 (0. 5872) 比普通最小二乘回归的均方根误差(- RM SE- = 0. 48887) 有所增大, 但增加不多。偏最小二乘回归对研究很多因变量及很多自变量的相依关系时更能显示其特点, 此例变量个数少, 故没能看出太多的优点。

一般来说,因子分析所形成的因子都是自变量,因为因子分析所得到的因子地位是相同的,不应该做因子间的因果关系分析,而应该做这些因子对其他变量的影响或被其他变量所影响.假设因子分析所得到的因子为a1 a2 ……an,那么,需要引入a系列因子之外的其他变量（假设为b系列）,即a系列与b系列因子之间才能做回归分析. 就你的题目来看,你的研究应该是因子分析所得到的各个因子为自变量,其他“外部”的因子为因变量. （以上有调查问卷SPSS与结构方程模型Amos统计分析专业人士 南心网提供）

一般来说，因子分析所形成的因子都是自变量，因为因子分析所得到的因子地位是相同的，不应该做因子间的因果关系分析，而应该做这些因子对其他变量的影响或被其他变量所影响。假设因子分析所得到的因子为a1 a2 ……an，那么，需要引入a系列因子之外的其他变量（假设为b系列），即a系列与b系列因子之间才能做回归分析。就你的题目来看，你的研究应该是因子分析所得到的各个因子为自变量，其他“外部”的因子为因变量。（以上有调查问卷SPSS与结构方程模型Amos统计分析专业人士 南心网提供）

正常放入自变量里就好。哑变量问题可以参考SPSSAU帮助手册中的说明：哑变量说明-SPSSAU

不可以。根据查询多元线性回归定理和性质得知，多元线性回归中自变量不可以是二分类。在回归分析中，如果有两个或两个以上的自变量，就称为多元回归。事实上，一种现象常常是与多个因素相联系的，由多个自变量的最优组合共同来预测或估计因变量，比只用一个自变量进行预测或估计更有效，更符合实际。因此多元线性回归比一元线性回归的实用意义更大。

录入1和2

做logistic回归也可以考虑虚拟变量回归或方差分析

建议使用逐步回归，这样可以排除不显著的变量

回归直线方程y=a+bx过定点(0,a)表示自变量x每变动一个计量单位时因变量y的平均变动值,数学上称为直线的斜率,也称回归系数.回归系数含义是说当其他因素不变时自变量的以单位变化引起的因变量的变化程度可决系数用SSR（回归平方和）处以SST或者是1减去SSE（残差平方和）处以SST的商其中SST是因变量的样本方差这个系数说明在因变量y的样本变化中,有多少部分是可以被自变量x的变化解释的还有一种“无用”的说法.计量经济理论其实就是些数学统计的东西,是工具而已,如果不是应用在一定的经济领域里的话,没有经济意义而言(这也是为什么有人计量经济是垃圾的一个原因).所以,只看你说的这个回归模型,他没有半点经济意义,他有的只是数学统计方面的意义.不过如果你把他应用到某特定经济领域里,他就有经济意义了.举个简单的例子(假如这个经济理论成立的话):因变量是CONSUMPTION,自变量是DISPOSABLEINCOME,那么,a就是必需的那一部分消费(用来维持生存下来的花销),b就是propensitytoconsume(消费系数?).

算式应该是可以的，很多题目都是这样的！ 不过最后的算式确定还是要看显著性怎么样了！ 至于关系嘛，应该是线性相关吧，不是一般意义上的关系！（不确定） 有详细注释的话谢谢分享！应该是，多元回归里面要做的一步就是多重共线性的检验，就是线性相关关系

您可以使用阶层回归分析。之后，所谓的“控制变量”是寻找出这些变量的影响来预测因变量其它变量的作用是如何。例如，在该分析中，人口统计变量（性别，年龄等）作为控制变量，在分层回归到block1，再放入block2的其他变量。通过观察结果可以人口统计学变量排除后，可以看出派生，其他变量方差增长的贡献率。

纳入虚拟变量即可我替别人做这类的数据分析很多的

这两个问题都不是原假设。统计中多元线性回归的原假设是这两组变量有相关关系。