变量选择方法

R中mgcv包中的gam模型中是不是只能有六个变量,如题,在用mgcv包里的gam做分析,可是每次模型中纳入七个变量时候就出现提示:错误于smooth.construct.tp.s

1：如果你是在做回归分析，那么这里是对解释变量的选择就是想剔除多元回归之间的多重共线性了，比如在分析你们家中的每月消费支出是，如果你选取的解释变量有父母工资，期货收益，还有存款利息等，加入还想加入你爸爸的工资来解释你家里每月的消费支出，这样变量之间就明显的产生了多重共线性了，应为你父母工资这个变量就是由你爸你妈工资之和构成的如果你爸爸的工资占你父母工资收入的绝大部分的话，那么这样变量：父母工资与变量：爸爸的工资的相关系数就会相当高了，这样在回归分析中就会产生许多错误，违反了高斯假定。所以这里就是为了消除多重共线性了2：这里使用的方法叫做逐步回归法

　　Logistic回归主要分为三类，一种是因变量为二分类得logistic回归，这种回归叫做二项logistic回归，一种是因变量为无序多分类得logistic回归，比如倾向于选择哪种产品，这种回归叫做多项logistic回归。还有一种是因变量为有序多分类的logistic回归，比如病重的程度是高，中，低呀等等，这种回归也叫累积logistic回归，或者序次logistic回归。　　二值logistic回归：　　选择分析——回归——二元logistic，打开主面板，因变量勾选你的二分类变量，这个没有什么疑问，然后看下边写着一个协变量。有没有很奇怪什么叫做协变量？在二元logistic回归里边可以认为协变量类似于自变量，或者就是自变量。把你的自变量选到协变量的框框里边。　　细心的朋友会发现，在指向协变量的那个箭头下边，还有一个小小的按钮，标着a*b，这个按钮的作用是用来选择交互项的。我们知道，有时候两个变量合在一起会产生新的效应，比如年龄和结婚次数综合在一起，会对健康程度有一个新的影响，这时候，我们就认为两者有交互效应。那么我们为了模型的准确，就把这个交互效应也选到模型里去。我们在右边的那个框框里选择变量a，按住ctrl，在选择变量b，那么我们就同时选住这两个变量了，然后点那个a*b的按钮，这样，一个新的名字很长的变量就出现在协变量的框框里了，就是我们的交互作用的变量。　　然后在下边有一个方法的下拉菜单。默认的是进入，就是强迫所有选择的变量都进入到模型里边。除去进入法以外，还有三种向前法，三种向后法。一般默认进入就可以了，如果做出来的模型有变量的p值不合格，就用其他方法在做。再下边的选择变量则是用来选择你的个案的。一般也不用管它。　　选好主面板以后，单击分类（右上角），打开分类对话框。在这个对话框里边，左边的协变量的框框里边有你选好的自变量，右边写着分类协变量的框框则是空白的。你要把协变量里边的字符型变量和分类变量选到分类协变量里边去（系统会自动生成哑变量来方便分析，什么事哑变量具体参照前文）。这里的字符型变量指的是用值标签标注过得变量，不然光文字，系统也没法给你分析啊。选好以后，分类协变量下边还有一个更改对比的框框，我们知道，对于分类变量，spss需要有一个参照，每个分类都通过和这个参照进行比较来得到结果，更改对比这个框框就是用来选择参照的。默认的对比是指示符，也就是每个分类都和总体进行比较，除了指示符以外还有简单，差值等。这个框框不是很重要，默认就可以了。　　点击继续。然后打开保存对话框，勾选概率，组成员，包含协方差矩阵。点击继续，打开选项对话框，勾选分类图，估计值的相关性，迭代历史，exp（B）的CI，在模型中包含常数，输出——在每个步骤中。如果你的协变量有连续型的，或者小样本，那还要勾选Hosmer-Lemeshow拟合度，这个拟合度表现的会较好一些。　　继续，确定。　　然后，就会输出结果了。主要会输出六个表。　　第一个表是模型系数综合检验表，要看他模型的p值是不是小于0.05，判断我们这个logistic回归方程有没有意义。　　第二个表示模型汇总表。这个表里有两个R^2，叫做广义决定系数，也叫伪R^2，作用类似于线性回归里的决定系数，也是表示这个方程能够解释模型的百分之多少。由于计算方法不同，这两个广义决定系数的值往往不一样，但是出入并不会很大。　　在下边的分类表则表述了模型的稳定性。这个表最后一行百分比校正下边的三个数据列出来在实际值为0或者1时，模型预测正确的百分比，以及模型总的预测正确率。一般认为预测正确概率达到百分之五十就是良好（标准真够低的），当然正确率越高越好。　　在然后就是最重要的表了，方程中的变量表。第一行那个B下边是每个变量的系数。第五行的p值会告诉你每个变量是否适合留在方程里。如果有某个变量不适合，那就要从新去掉这个变量做回归。根据这个表就可以写出logistic方程了：P=Exp(常量+a1*变量1+a2*变量2.。。。)/(1+Exp(常量+a1*变量1+a2*变量2.。。。))。如果大家学过一点统计，那就应该对这个形式的方程不陌生。提供变量，它最后算出来会是一个介于0和1的数，也就是你的模型里设定的值比较大的情况发生的概率，比如你想推算会不会治愈，你设0治愈，1为没有治愈。那你的模型算出来就是没有治愈的概率。如果你想直接计算治愈的概率，那就需要更改一下设定，用1去代表治愈。　　此外倒数后两列有一个EXP（B），也就是OR值，哦，这个可不是或者的意思，OR值是优势比。在线性回归里边我们用标准化系数来对比两个自变量对于因变量的影响力的强弱，在logistic回归里边我们用优势比来比较不同的情况对于因变量的影响。举个例子。比如我想看性别对于某种病是否好转的影响，假设0代表女，1代表男，0代表不好转，1代表好转。发现这个变量的OR值为2.9，那么也就是说男人的好转的可能是女人好转的2.9倍。注意，这里都是以数值较大的那个情况为基准的。而且OR值可以直接给出这个倍数。如果是0,1,2各代表一类情况的时候，那就是2是1的2.9倍，1是0的2.9倍，以此类推。OR值对于方程没什么贡献，但是有助于直观的理解模型。在使用OR值得时候一定要结合它95%的置信区间来进行判断。

　Logistic回归主要分为三类，一种是因变量为二分类得logistic回归，这种回归叫做二项logistic回归，一种是因变量为无序多分类得logistic回归，比如倾向于选择哪种产品，这种回归叫做多项logistic回归。还有一种是因变量为有序多分类的logistic回归，比如病重的程度是高，中，低呀等等，这种回归也叫累积logistic回归，或者序次logistic回归。　　二值logistic回归：　　选择分析——回归——二元logistic，打开主面板，因变量勾选你的二分类变量，这个没有什么疑问，然后看下边写着一个协变量。有没有很奇怪什么叫做协变量？在二元logistic回归里边可以认为协变量类似于自变量，或者就是自变量。把你的自变量选到协变量的框框里边。　　细心的朋友会发现，在指向协变量的那个箭头下边，还有一个小小的按钮，标着a*b，这个按钮的作用是用来选择交互项的。我们知道，有时候两个变量合在一起会产生新的效应，比如年龄和结婚次数综合在一起，会对健康程度有一个新的影响，这时候，我们就认为两者有交互效应。那么我们为了模型的准确，就把这个交互效应也选到模型里去。我们在右边的那个框框里选择变量a，按住ctrl，在选择变量b，那么我们就同时选住这两个变量了，然后点那个a*b的按钮，这样，一个新的名字很长的变量就出现在协变量的框框里了，就是我们的交互作用的变量。　　然后在下边有一个方法的下拉菜单。默认的是进入，就是强迫所有选择的变量都进入到模型里边。除去进入法以外，还有三种向前法，三种向后法。一般默认进入就可以了，如果做出来的模型有变量的p值不合格，就用其他方法在做。再下边的选择变量则是用来选择你的个案的。一般也不用管它。　　选好主面板以后，单击分类（右上角），打开分类对话框。在这个对话框里边，左边的协变量的框框里边有你选好的自变量，右边写着分类协变量的框框则是空白的。你要把协变量里边的字符型变量和分类变量选到分类协变量里边去（系统会自动生成哑变量来方便分析，什么事哑变量具体参照前文）。这里的字符型变量指的是用值标签标注过得变量，不然光文字，系统也没法给你分析啊。选好以后，分类协变量下边还有一个更改对比的框框，我们知道，对于分类变量，spss需要有一个参照，每个分类都通过和这个参照进行比较来得到结果，更改对比这个框框就是用来选择参照的。默认的对比是指示符，也就是每个分类都和总体进行比较，除了指示符以外还有简单，差值等。这个框框不是很重要，默认就可以了。　　点击继续。然后打开保存对话框，勾选概率，组成员，包含协方差矩阵。点击继续，打开选项对话框，勾选分类图，估计值的相关性，迭代历史，exp（B）的CI，在模型中包含常数，输出——在每个步骤中。如果你的协变量有连续型的，或者小样本，那还要勾选Hosmer-Lemeshow拟合度，这个拟合度表现的会较好一些。　　继续，确定。　　然后，就会输出结果了。主要会输出六个表。　　第一个表是模型系数综合检验表，要看他模型的p值是不是小于0.05，判断我们这个logistic回归方程有没有意义。　　第二个表示模型汇总表。这个表里有两个R^2，叫做广义决定系数，也叫伪R^2，作用类似于线性回归里的决定系数，也是表示这个方程能够解释模型的百分之多少。由于计算方法不同，这两个广义决定系数的值往往不一样，但是出入并不会很大。　　在下边的分类表则表述了模型的稳定性。这个表最后一行百分比校正下边的三个数据列出来在实际值为0或者1时，模型预测正确的百分比，以及模型总的预测正确率。一般认为预测正确概率达到百分之五十就是良好（标准真够低的），当然正确率越高越好。　　在然后就是最重要的表了，方程中的变量表。第一行那个B下边是每个变量的系数。第五行的p值会告诉你每个变量是否适合留在方程里。如果有某个变量不适合，那就要从新去掉这个变量做回归。根据这个表就可以写出logistic方程了：P=Exp(常量+a1*变量1+a2*变量2.。。。)/(1+Exp(常量+a1*变量1+a2*变量2.。。。))。如果大家学过一点统计，那就应该对这个形式的方程不陌生。提供变量，它最后算出来会是一个介于0和1的数，也就是你的模型里设定的值比较大的情况发生的概率，比如你想推算会不会治愈，你设0治愈，1为没有治愈。那你的模型算出来就是没有治愈的概率。如果你想直接计算治愈的概率，那就需要更改一下设定，用1去代表治愈。　　此外倒数后两列有一个EXP（B），也就是OR值，哦，这个可不是或者的意思，OR值是优势比。在线性回归里边我们用标准化系数来对比两个自变量对于因变量的影响力的强弱，在logistic回归里边我们用优势比来比较不同的情况对于因变量的影响。举个例子。比如我想看性别对于某种病是否好转的影响，假设0代表女，1代表男，0代表不好转，1代表好转。发现这个变量的OR值为2.9，那么也就是说男人的好转的可能是女人好转的2.9倍。注意，这里都是以数值较大的那个情况为基准的。而且OR值可以直接给出这个倍数。如果是0,1,2各代表一类情况的时候，那就是2是1的2.9倍，1是0的2.9倍，以此类推。OR值对于方程没什么贡献，但是有助于直观的理解模型。在使用OR值得时候一定要结合它95%的置信区间来进行判断。　　此外还有相关矩阵表和概率直方图，就不再介绍了。

　　二分类 logistic回归中“变量选择方法”有7种，以下是spss手册中的介绍：　　Logistic 回归：变量选择方法　　方法选择允许您指定自变量将如何进入到分析中。通过使用不同的方法，您可以从相同　　的变量组构造多个回归模型。　　? Enter. 一种变量选择过程，其中一个块中的所有变量在一个步骤中输入。　　? 向前选择（条件）. 逐步选择方法，其中进入检验是基于得分统计量的显著性，移去检验是基于在条件参数估计基础上的似然比统计的概率。　　? 向前选择（似然比）. 逐步选择方法，其中进入检验是基于得分统计量的显著性，移去检验是基于在最大局部似然估计的似然比统计的概率。　　? 向前选择 (Wald). 逐步选择方法，其中进入检验是基于得分统计量的显著性，移去检验是基于 Wald 统计的概率。　　? 向后去除（条件）. 逐步向后选择。移去检验基于在条件参数估计的似然比统计量的概率。　　? 向后去除（似然比）. 逐步向后选择。移去检验基于在最大偏似然估计基础上的似然比统计量的概率。　　? 向后去除（Wald）. 逐步向后选择。移去检验基于 Wald 统计量的概率。　　输出中的显著性值基于与单个模型的拟合。因此，当使用逐步方法时，显著性值通常无效。　　所有被选自变量将被添加到单个回归模型中。不过，您可以为不同的变量子集指定不同的进入方法。例如，您可以使用逐步式选择将一个变量块输入到回归模型中，而使用向前选择输入第二个变量块。要将第二个变量块添加到回归模型，请单击下一个 。