主成分分析（PCA）简介

统计学中描述总体特征的变量是参数，将描述样本特征的变量称为统计量。

用途如下：1、家庭经济条件优越及社会资本水平较高的农民工更倾向于返乡创业。2、“家乡交通与经济发展”发展。3、“家乡社会治安状况”稳定发展。个人特征变量，包括年龄、性别、民族、婚姻状况、户口、是否是党员、健康状况等。个人特征变量，主要是指初中生自身所具有的一些“ 属性”。市场用途是对用户进行引流，有针对性地通过新媒体或者硬广在移动端和网页上为产品带来新的用户。有商品交换和价值的实现、服务功能、传递信息功能、收益分配的作用。

【答案】：D,E利用信用评分模型进行信用风险计量时，对法人客户而言，可观察到的特征变量主要包括现金流量、财务比率等；对个人客户而言，可观察到的特征变量主要包括收入、资产、年龄、职业以及居住地等。

变量具备的三个特征如下：1、变量是用于研究总体和个体具有属性变异与数值变异的量化概念。2、变量是一个具有量化性质的概念或名称，它不是指具体的数字。3、变量的取值有两个方面，一是在时间上取值，二是在空间上取值。什么是变量1、变量又名变数，是指没有固定的值，可以改变的数。变量以非数字的符号来表达，一般用拉丁字母。变量是常数的相反。变量的用处在于能一般化描述指令的方式。结果只能使用真实的值，指令只能应用于某些情况下。变量能够作为某特定种类的值中任何一个的保留器。2、变量来源于数学，是计算机语言中能储存计算结果或能表示值的抽象概念。3、变量可以通过变量名访问。在指令式语言中，变量通常是可变的；但在纯函数式语言（如Haskell）中，变量可能是不可变的。在一些语言中，变量可能被明确为是能表示可变状态、具有存储空间的抽象（如在Java和Visual Basic中）；但另外一些语言可能使用其它概念（如C的对象）来指称这种抽象，而不严格地定义“变量”的准确外延。

变量的特征，它是随着一个量的变化而变化的。如果其中一个量它变化了，而另一个量随着变化。那辆叫这边量随着变化的量叫做因变量。

总体 就总体均值 总体方差 总体协方差…………样本就样本均值样本方差…………名字上没什么特别区别的吖英文教材里会用distribution of the population和distribution of the sample进行区分

这个是温度不变情况下

迷津实验控制了：环境变量、操作变量、社会变量、个体特征变量四个变量。1、环境变量：密闭房间的大小、形状、温度、光线等环境因素。2、操作变量：实验的设计、测量和任务过程，如任务的难度、复杂度等。3、社会变量：实验中个体间互动的情况，如个体间合作、竞争等。4、个体特征变量：包括个体的年龄、性别、文化背景、性格、情绪状态等。

集中特征的有 平均值、中位数、众数离散特征的有 方差、标准差、极差、四分位数等

焓(H)是一个特征函数,其特征变量为熵和体积,即： dH=TdS+PdV 那么在蒸发过程中,温度不变,但熵和体积都发生了变化,所以焓不是零. 同样对于内能(U),其特征变量亦为熵和体积,即： dU=TdS-PdV 也无法得出等温蒸发内能变化为零的结论 有一个热力学量的变化此时为零,即吉布斯自由能(G),因为它的特征变量为温度和压力,即： dG=VdP-SdT 温度不变,压力不变,所以吉布斯自由能变化为零,即液态水和气态吉布斯自由能相等,达到热力学平衡.

一般属于被试特征变量的是组间 比如 性别如果做自变量的话 只可能是组间 你不可能让一个人既是男人又是女人 还有比如要考察 智力 对什么什么的影响 这里的智力作为自变量 如果你要分 弱智 中等 天才 三组的话 你也不可能让一个人又是弱智 又是天才 所以他们只能组间一般其它变量随你便比如 去年真题最后一题，教学方法。如果排开其他因素不考虑的话，教学方法可以设计成组间（接受A方法教学的就不再接受B方法教学了） 你也可以设计成组内（接受A教学的学生再去接受B教学）。 但是如果设计成组内就会有累加效应………………………………（可以看真题） 所以非被试特征变量的时候，具体问题具体分析都是白话文，楼主最好结合定义理解，整规范点好……

摘录自别人 随机森林中有一个错误发现率还有一个是树木，，更多的是体现这个工具帮你解决的问题 使用这个工具干了什么，而不是别的 随机森林原理 1、什么是随机森林？ 随机森林就是用随机的方式建立一个森林，在森林里有很多决策树组成，并且每一棵决策树之间是没有关联的。当有一个新样本的时候，我们让森林的每一棵决策树分别进行判断，看看这个样本属于哪一类，然后用投票的方式，哪一类被选择的多，作为最终的分类结果。在回归问题中，随机森林输出所有决策树输出的平均值。 （1）随机森林既可以用于分类，也可以用于回归。 （2）它是一种降维手段，用于处理缺失值和异常值。 （3）它是集成学习的重要方法。 2、两个随机抽取 （1）样本有放回随机抽取固定数目 （2）构建决策树时，特征随机抽取 解释：两个随机性的引入对随机森林的分类性能至关重要。由于它们的引入，使得随机森林不容易陷入过拟合，并且具有很好得抗噪能力（比如：对缺省值不敏感） 3、随机森林算法是如何工作的？ 在随机森林中，每一个决策树“种植”和“生长”的四个步骤： （1）假设我们设定训练集中的样本个数为N，然后通过有重置的重复多次抽样获得这N个样本，这样的抽样结果将作为我们生成决策树的训练集； （2）如果有M个输入变量，每个节点都将随机选择m(m<M)个特定的变量，然后运用这m个变量来确定最佳的分裂点。在决策树的生成过程中，m的值是保持不变的； （3）每棵决策树都最大可能地进行生长而不进行剪枝； （4）通过对所有的决策树进行加总来预测新的数据（在分类时采用多数投票，在回归时采用平均）。 4、随机森林的优缺点 优点： （1）在分类和回归都表现良好 （2）对高维数据的处理能力强，可以处理成千上万的输入变量，是一个非常不错的降维方法 （3）能够输出特征的重要程度 （4）有效的处理缺省值 5、重要参数 随机森林分类效果（错误率）与两个因素有关： （1）森林中任意两棵树的相关性：相关性越大，错误率越大； （2）森林中每棵树的分类能力：每棵树的分类能力越强，整个森林的错误率越低。 减小特征选择个数m，树的相关性和分类能力也会相应的降低；增大m，两者也会随之增大。所以关键问题是如何选择最优的m（或者是范围），这也是随机森林唯一的一个参数。在学习如何选择参数前首先介绍oob的概念。 6、oob：袋外错误率 为了选择最优的m，这里需要利用的是袋外错误率oob（out-of-bag error）。我们知道，在构建每个决策树的时候，采用的是随机又放回的抽取，所以对于每棵树来说，都有一些样本实力没有参与树的生成，所以这些样本成为袋外样本，即oob。所以我们需要做一下oob估计： （1）对每个样本，计算它作为oob样本的树对它的分类情况 （2）多数投票作为该样本的分类结果 （3）用误分个数占样本总数的比率作为随机森林的oob误分率 oob误分率是随机森林泛化误差的一个无偏估计，它的结果近似于需要大量计算的k折交叉验证。所以没有必要对它进行交叉验证或者用一个独立的测试集来获得误差的一个无偏估计。它可以在内部进行评估，也就是说在生成的过程中就可以对误差建立一个无偏估计。 当我们知道了oob的计算方法，我们可以通过选取不同的m，计算oob error，找出oob error最小时对应的m的值。这和交叉验证的思想非常的相似。 7、RF特征重要性的度量方法 （1）对于每一棵决策树，计算其oob error_0 （2）选取一个特征，随机对特征加入噪声干扰，再次计算oob error_1 （3）特征的重要性=∑(oob error_1-oob error_0)/随机森林中决策树的个数 （4）对随机森林中的特征变量按照特征重要性降序排序。 （5）然后重复以上步骤，直到选出m个特征。 解释：用这个公式来度量特征重要性，原因是：给某个特征随机的加入噪声后，如果oob error增大，说明这个特征对样本分类的结果影响比较大，说明重要程度比较高。 8、RF特征选择 首先特征选择的目标有两个： 1：找到与分类结果高度相关的特征变量。 2：选择出数目较少的特征变量并且能够充分的预测应变量的结果。 特征选择的步骤： （1）对于每一棵决策树，计算其oob error （2）随机的修改OOB中的每个特征xi的值，计算oob error_2，再次计算重要性 （3）按照特征的重要性排序，然后剔除后面不重要的特征 （4）然后重复以上步骤，直到选出m个特征。 9、几个问题 （1）为什么要随机抽取样本？ 答：如果不进行随机抽样，对于每个树的训练集都是相同的，训练出来的结果也是一样的，所以此时进行投票决策没有意义。 （2）为什么要有放回的去抽样呢? 答：如果不是有放回的抽样，那么每一棵树的训练样本是不同的，都是没有交集的，那么每棵树都是有偏的，都是片面的，树与树之间并不是完全公平的。我们需要的是，没颗决策树是公平的，然后让它们投票决策得出结果，并且这样可以防止过度拟合。 （3）这里指的有放回的抽样，是每次抽一个放回，还是一次抽n个再放回？ 注意： 构造子数据集，子数据集的数据量是和原始数据集相同的。不同子数据集的元素可以重复，同一个子数据集中的元素也可以重复。

1. 图像分类处理的依据图像分类处理的依据就是模式识别的过程，即通过对各类地物的遥感影像特征分析来选择特征参数，将特征空间划分为互不重叠的子空间并将图像内各个像元划分到各个子空间区，从而实现分类。这里特征参数是指能够反映地物影像特征并可用于遥感图像分类处理的变量，如多波段图像的各个波段、多波段图像的算术/逻辑运算结果、图像变换/增强结果、图像空间结构特征等; 特征空间是指由特征变量组成的多维空间。遥感影像中同一类地物在相同的条件下 ( 纹理、地形、光照及植被覆盖等) ，应具有相同或相似的光谱信息特征和空间信息特征，从而表现出同类地物的某种内在的相似性。在多波段遥感的数字图像中，可以粗略地用它们在各个波段上的像元值的连线来表示其光谱信息 ( 图 4-22a) 。在实际的多维空间中，地物的像元值向量往往不是一个点，而是呈点群分布 ( 集群) 。同类地物的特征向量将集群在同一特征空间域，不同地物的光谱信息或空间信息特征不同，因而将集群在不同的特征的空间域 ( 图 4-22b) 。在实际图像中，不同地物的集群还存在有交叉过渡，受图像分辨率的限制，一个像元中可能包括有若干个地物类别，即所谓 “混合像元”，因此对不同集群的区分要依据它们的统计特征来完成。2. 图像分类处理的关键问题图像分类处理的关键问题就是按概率统计规律，选择适当的判别函数、建立合理的判别模型，把这些离散的 “集群”分离开来，并作出判决和归类。通常的做法是，将多维波谱空间划分为若干区域 ( 子空间) ，位于同一区域内的点归于同一类。子空间划分的标准可以概括为两类: ①根据点群的统计特征，确定它所应占据的区域范围。例如，以每一类的均值向量为中心，规定在几个标准差的范围内的点归为一类。②确定类别之间的边界，建立边界函数或判别函数。不论采取哪种标准，关键在于确定同一类别在多维波谱空间中的位置 ( 类的均值向量) 、范围 ( 协方差矩阵) 及类与类边界 ( 判别函数) 的确切数值。按确定这些数据是否有已知训练样本 ( 样区) 为准，通常把分类技术分为监督和非监督两类。非监督分类是根据图像数据本身的统计特征及点群的分布情况，从纯统计学的角度对图像数据进行类别划分的分类处理方法。监督分类是根据已知类别或训练样本的模式特征选择特征参数并建立判别函数，把图像中各个像元点划归至给定类中的分类处理方法。图 4-22 某地数字图像上主要几种地物的光谱反射比曲线和集群分布3. 监督分类与非监督分类的本质区别监督分类与非监督分类的本质区别在于有无先验知识。非监督分类为在无分类对象先验知识的条件下，完全根据数据自身的统计规律所进行的分类; 监督分类指在先验知识( 训练样本的模式特征等先验知识) 的 “监督”之下进行分类。非监督分类的结果可作为监督分类训练样本选择的重要参考依据，同时，监督分类中训练样本的选择需要目视解译工作者、专家的地学知识与经验作为支撑。4. 遥感图像分类的工作流程①确定分类类别: 根据专题目的和图像数据特性确定计算机分类处理的类别数与类特征; ②选择特征参数: 选择能描述各类别的特征参数变量; ③提取分类数据: 提取各类别的训练 ( 样本) 数据; ④测定总体统计特征: 或测定训练数据的总体特征，或用聚类分析方法对特征相似的像元进行归类分析并测定其特征; ⑤分类: 用给定的分类基准对各个像元进行分类归并处理; ⑥分类结果验证: 对分类的精度与可靠性进行分析。

非平稳性（nonstationarity，也译作不平稳性，非稳定性）：即时间序列变量无法呈现出一个长期趋势并最终趋于一个常数或是一个线性函数。 波动幅度随时间变化（Time－varying Volatility）：即一个时间序列变量的方差随时间的变化而变化这两个特征使得有效分析时间序列变量十分困难。 平稳型时间数列（Stationary Time Series）系指一个时间数列其统计特性将不随时间之变化而改变者。

在社会学分析中，至少存在6个层次的分析单位,即个人、群体、组织、社区、制度、社会系统。①个人是最常用的分析单位。研究者通过对个人描述的处理来描述和解释社会群体及其互动过程。一般来说，适用于每个人的科学发现是最有价值的。但在实践中，分析单位通常只是有限群体的个人。例如，学生、工人、父母等。②社会群体也是社会学研究的分析单位，它的特征不同于群体内个人特征的集合。例如，以家庭作为研究的分析单位时，可以根据家庭的收入、是否拥有电视机等来描述每个家庭，对家庭的平均收入和电视机拥有量进行归类，然后确定家庭收入与电视机拥有量的关系。在某些情况下，社会群体的特征也可以从其成员的特征中抽象出来。例如，用父母的年龄、教育程度等来描述家庭的特征。③组织作为分析单位时，要根据组织特征，对其构成要素或对它所属的更大群体的描述进行刻画。例如，对企业，可以根据职工数、净利润、资产等刻画其特征。④人类生态学通常以社区为分析单位。例如，关于地区的家庭破裂比例与地区犯罪率的关系。这里所谈相关的变量是地区的家庭破裂率,不是单个破裂家庭;是地区犯罪率不是个人犯罪。⑤制度分析是将社会的法律、政治、经济、家庭等制度作为分析单位，考察制度内或制度间要素之间的关系。⑥在以社会系统为分析单位的陈述里，是以社会性要素为特征变量的，包括阶层化制度的性质、都市化程度、专业化程度等。若用一种分析单位作研究却用另一种分析单位作结论，就会形成区群谬误，又称体系错误。例如，当资料表明越穷的农村社区生育率越高时，就不能立即得出越穷的农民生育子女越多的结论。因为可能是贫穷的农村社区中的富裕农民生育子女多而使得生育率增高。这说明以社区作为分析单位进行研究时，不能得出关于个人的结论。研究中易于出现的另一个与分析单位有关的谬误是还原论又称简约论。分析单位往往有多种特征，还原论者只以其中某一种特征来解释和说明复杂的社会现象。例如，一个社区有经济、政治、文化、宗教、信仰、风俗习惯等多方面的特征，如果只以经济特征来说明这一社区的生育率就易于犯还原论的错误。常见的还原论有：经济还原论、心理还原论、政治还原论等。在社会学分析中，有些要同时运用多种分析单位。如在背景分析中，需要检验不同分析层次的分析单位间的关系，有社会制度、社会阶级与个人的关系等，其中制度变量可与个人变量、群体变量可与个人变量关联起来分析。在理论研究中，运用不同的分析单位将导致不同的理论类型。&Eacute;.迪尔凯姆等人的理论与当代社会学理论存在的差异，很多表现在分析单位上。

个体效应和时间效应的含义分别是：1、个体效应（FE）：是用来捕捉不随时间变化的个体之间的差异，可以用来克服遗漏变量的问题。例如，不随时间变动的个体的特征变量：性别，或者一段时间内的工作、学校等特征变量。2、时间效应（TE）：是解决不随个体变化但随着时间而变化的遗漏变量问题。例如用来捕捉经济周期以及宏观经济变化。双向固定效应：既考虑了时间效应又考虑了个体效应。固定效应模型的基本假设：实验结果只想比较每一自变项之特定类目或类别间的差异及其与其他自变项之特定类目或类别间交互作用效果，而不想依此推论到同一自变项未包含在内的其他类目或类别的实验设计。什么时候做固定效应：采用面板数据时，一般来说，不可观测的异质性通常会对解释变量有影响，因此考虑个体不可观测异质性时要做固定效应。例如，探究政策实施效果分析时，通常要消除个体（政策实施对象）和时间（政策实施时间）差别带来的影响，就要考虑时间和个体的固定效应。政策实施效果分析中最常用的方法是多期-双重差分模型（DID），在公式中加时间和个体固定效应。

b

样本数据量十分大且缺失值不多 的情况下非常有效，但如果样本量本身不大且缺失也不少，那么不建议使用。 补齐处理只是将未知值补以我们的主观估计值，不一定完全符合客观事实，一些模型无法应对具有缺失值的数据，因此要对缺失值进行处理。然而还有一些模型本身就可以应对具有缺失值的数据，此时无需对数据进行处理，比如 Xgboos等树模型 。 虚拟变量其实就是缺失值的一种衍生变量。具体做法是通过判断特征值是否有缺失值来定义一个新的二分类变量。比如，特征为A含有缺失值，我们 衍生出一个新的特征B，如果A中特征值有缺失，那么相应的B中的值为1，如果A中特征值没有缺失，那么相应的B中的值为0。 data_train[["Cabin","CabinCat"]].head(10) 对于定类数据：使用 众数（mode）填补 ，比如一个学校的男生和女生的数量，男生500人，女生50人，那么对于其余的缺失值我们会用人数较多的男生来填补。 对于定量（定比）数据：使用平均数（mean）或中位数（median）填补 ，比如一个班级学生的身高特征，对于一些同学缺失的身高值就可以使用全班同学身高的平均值或中位数来填补。一般如果特征分布为正太分布时，使用平均值效果比较好，而当分布由于异常值存在而不是正太分布的情况下，使用中位数效果比较好。 注：此方法虽然简单，但是不够精准，可能会引入噪声，或者会改变特征原有的分布。 如果缺失值是随机性的，那么用平均值比较适合保证无偏，否则会改变原分布。 利用其它变量做模型的输入进行缺失变量的预测，与我们正常建模的方法一样，只是目标变量变为了缺失值。如果其它特征变量与缺失变量无关，则预测的结果毫无意义。如果预测结果相当准确，则又说明这个变量完全没有必要进行预测，因为这必然是与特征变量间存在重复信息。

是的。在做因变量与自变量之间的多元线性回归的时候，要考虑到控制变量也就是人口学变量的影响因素。人口学变量都是一些类别变量和顺序变量。

你可以在VB 6.0 使用下面的程序 不过你得自己做窗体Private Sub Command1_Click()Dim swApp As ObjectDim Part As ObjectDim boolstatus As BooleanDim longstatus As Long, longwarnings As LongSet swApp = CreateObject("sldworks.application")Dim D1 As DoubleDim D2 As DoubleDim L As DoubleD1 = Val(Text1.Text) * 0.001 "将垫片外圆半径赋给 D1D2 = Val(Text2.Text) * 0.001 "将垫片内圆半径赋给D2L = Val(Text3.Text) * 0.001 "将垫片厚度 即拉伸长度赋值给LSet Part = swApp.NewDocument("C:Documents and SettingsAll UsersApplication DataSolidWorksSolidWorks 2010 emplates零件.prtdot", 0, 0, 0)swApp.ActivateDoc2 "零件1", False, longstatusSet Part = swApp.ActiveDocboolstatus = Part.Extension.SelectByID2("前视基准面", "PLANE", -0.08327989191729, 0.05061857142857, 0, False, 0, Nothing, 0)Part.SketchManager.InsertSketch TrueDim skSegment As ObjectSet skSegment = Part.SketchManager.CreateCircle(0#, 0#, 0#, 0, D1, 0#)Set skSegment = Part.SketchManager.CreateCircle(0#, 0#, 0#, 0, D2, 0#)Part.ClearSelection2 Trueboolstatus = Part.Extension.SelectByID2("草图1", "SKETCH", 0, R2 + 0.001, 0, False, 0, Nothing, 0)Dim myFeature As ObjectSet myFeature = Part.FeatureManager.FeatureExtrusion2(True, False, False, 0, 0, L, 0.01, False, False, False, False, 0.01745329251994, 0.01745329251994, False, False, False, False, True, True, True, 0, 0, False)Part.SelectionManager.EnableContourSelection = FalseEnd Sub这个很简单，实在不行就加我QQ:472224578

因变量是研究中最重要的变量之一，是在研究中被测量的、预测的或被控制的变量的响应或结果。因此，因变量具有一些重要特征，下面将从五个方面进行介绍。一、可测量性因变量应该是可测量的。这意味着，它必须能够通过某种方式来量化或记录，以便研究人员能够比较不同条件下的结果。例如，研究中使用的常见因变量包括：生理指标（如血压、心率等）、行为反应（如反应时间等）、认知成果（如记忆力等）和情感状态（如情绪等）。这些都是可以被测量和记录的结果。二、可变性因变量应该是具有可变性的，在研究过程中会受到自变量的影响发生变化。实验或调查的目的就是要观察这种变化，并确定自变量和因变量之间的关系。如果因变量不随自变量的不同水平而发生变化，那么研究就无法得出任何有效的结论。三、受控性因变量应该是可以受到控制的。在实验中，研究人员可以通过操纵自变量来控制因变量。通过这种方式，确保因变量的变化是由自变量导致的，而不是其他因素所引起的。在调查研究中，虽然不能像实验一样直接控制因变量，但也会尽力消除其他因素的影响以确保因变量准确地反映所要探究的变量。四、可操作性因变量应该是可操作的。在进行实验时，必须能够使因变量受到自变量的影响。研究人员必须确保在实验过程中不会有其他变量影响因变量，以便更好地控制因变量的变化。五、学理意义因变量应该具有在某些方面上的学理意义。也就是说，它应该与已有理论或相关领域的研究相联系。只有在这种情况下，才能够从研究结果中得出有意义的结论，这也是科学研究应该遵循的基本原则之一。因此，一个恰当选定的因变量不仅应该满足可测量性、可变性、受控性和可操作性的要求，还应该具有一定的学理意义。这样才能更好地为研究问题提供有效的解决方案，产生有意义的结论，推动研究领域的发展。

变量取值必须满足的两项重要特征为：一个是“类型兼容”，一个是“值域之内”。一、类型兼容：就是指赋的值必须与变量的类型兼容。类型兼容规则是多态性的重要基础之一。1、类型兼容规则是指在需要基类对象的任何地方，都可以使用公有派生类的对象来替代。2、通过公有继承，派生类得到了基类中除构造函数、析构函数之外的所有成员。这样，公有派生类实际就具备了基类的所有功能，凡是基类能解决的问题，公有派生类都可以解决。类型兼容规则中所指的替代包括以下情况：（1）派生类的对象可以赋值给基类对象。（2）派生类的对象可以初始化基类的引用。（3）派生类对象的地址可以赋给指向基类的指针。（4）在替代之后，派生类对象就可以作为基类的对象使用，但是只能使用从基类继承的成员。二、向上兼容（char->short->int->float->double），或完全相等（int->int之类的）。1、值域之内，就是赋的指不能超过变量的值域。2、在较低档计算机上编写的程序，可以在同一系列的较高档计算机上运行，或者在某一平台的较低版本环境中编写的程序可以在较高版本的环境中运行，都称为向上兼容，前者是硬件兼容，而后者是软件兼容。3、向上兼容常常是相对于向下兼容而言的，两者在兼容的方向性上是相反的，因此这两个概念是不同的。

元特征变量的意思是数量或参数发生了改变。变量是统计学研究中对象的特征，在数量标志中，不变的数量标志称为常量或参数，可变的数量标志称为变量。由可变数量标志构造的各种指标也称为变量。它可以是定性的也可以是定量的，一个定量变量要么是离散的，要么是连续的。社会科学中研究变量的关系，通常把一个变量称为自变量（独立变量），另一个变量称之为因变量（依赖变量）。变量包括各种数量标志和全部统计指标，它都是以数值形式表示的，但不包括品质标志。

系统放热:-10KJ系统做功:-50KJ 这里做功可不是外界对系统的功哦，而是系统对外做功一共:-60KJ

控制变量个体特征包括哪些方面的内容。这主要体现在保持实验条件恒定的方面。实验时，不同试验场所、不同实验者以及不同的实验时间等都是额外变量。

焓(H)是一个特征函数,其特征变量为熵和体积,即：dH=TdS+PdV那么在蒸发过程中,温度不变,但熵和体积都发生了变化,所以焓不是零.同样对于内能(U),其特征变量亦为熵和体积,即：dU=TdS-PdV也无法得出等温蒸发内能变化为零的结论有一个热力学量的变化此时为零,即吉布斯自由能(G),因为它的特征变量为温度和压力,即：dG=VdP-SdT温度不变,压力不变,所以吉布斯自由能变化为零,即液态水和气态吉布斯自由能相等,达到热力学平衡.

热力学一直都是难点，我也经常被搞得头大。我试着说一下因为：H=U+PV 对于液体和固体，因为反应前后体积变化不大，所以涵变主要是内能的变化，也就是温度。但对于气体，由于前后体积变化很大，pv就不能省略。所以对于有气体参加的反应或变化，涵变除了和温度有关，还和体积变化有关，所以这个题目，由于水由液态变气态时，体积可定增加了很多，所以涵变旧不能为零了。

1、什么是随机森林？ 随机森林就是用随机的方式建立一个森林，在森林里有很多决策树组成，并且每一棵决策树之间是没有关联的。当有一个新样本的时候，我们让森林的每一棵决策树分别进行判断，看看这个样本属于哪一类，然后用投票的方式，哪一类被选择的多，作为最终的分类结果。在回归问题中，随机森林输出所有决策树输出的平均值。 （1）随机森林既可以用于分类，也可以用于回归。 （2）它是一种降维手段，用于处理缺失值和异常值。 （3）它是集成学习的重要方法。 2、两个随机抽取 （1）样本有放回随机抽取固定数目 （2）构建决策树时，特征随机抽取 解释：两个随机性的引入对随机森林的分类性能至关重要。由于它们的引入，使得随机森林不容易陷入过拟合，并且具有很好得抗噪能力（比如：对缺省值不敏感） 3、随机森林算法是如何工作的？ 在随机森林中，每一个决策树“种植”和“生长”的四个步骤： （1）假设我们设定训练集中的样本个数为N，然后通过有重置的重复多次抽样获得这N个样本，这样的抽样结果将作为我们生成决策树的训练集； （2）如果有M个输入变量，每个节点都将随机选择m(m<M)个特定的变量，然后运用这m个变量来确定最佳的分裂点。在决策树的生成过程中，m的值是保持不变的； （3）每棵决策树都最大可能地进行生长而不进行剪枝； （4）通过对所有的决策树进行加总来预测新的数据（在分类时采用多数投票，在回归时采用平均）。 4、随机森林的优缺点 优点： （1）在分类和回归都表现良好 （2）对高维数据的处理能力强，可以处理成千上万的输入变量，是一个非常不错的降维方法 （3）能够输出特征的重要程度 （4）有效的处理缺省值 5、重要参数 随机森林分类效果（错误率）与两个因素有关： （1）森林中任意两棵树的相关性：相关性越大，错误率越大； （2）森林中每棵树的分类能力：每棵树的分类能力越强，整个森林的错误率越低。 　　减小特征选择个数m，树的相关性和分类能力也会相应的降低；增大m，两者也会随之增大。所以关键问题是如何选择最优的m（或者是范围），这也是随机森林唯一的一个参数。在学习如何选择参数前首先介绍oob的概念。 6、oob：袋外错误率 为了选择最优的m，这里需要利用的是袋外错误率oob（out-of-bag error）。我们知道，在构建每个决策树的时候，采用的是随机又放回的抽取，所以对于每棵树来说，都有一些样本实力没有参与树的生成，所以这些样本成为袋外样本，即oob。所以我们需要做一下oob估计： （1）对每个样本，计算它作为oob样本的树对它的分类情况 （2）多数投票作为该样本的分类结果 （3）用误分个数占样本总数的比率作为随机森林的oob误分率 oob误分率是随机森林泛化误差的一个无偏估计，它的结果近似于需要大量计算的k折交叉验证。所以没有必要对它进行交叉验证或者用一个独立的测试集来获得误差的一个无偏估计。它可以在内部进行评估，也就是说在生成的过程中就可以对误差建立一个无偏估计。 当我们知道了oob的计算方法，我们可以通过选取不同的m，计算oob error，找出oob error最小时对应的m的值。这和交叉验证的思想非常的相似。 7、RF特征重要性的度量方法 （1）对于每一棵决策树，计算其oob error_0 （2）选取一个特征，随机对特征加入噪声干扰，再次计算oob error_1 （3）特征的重要性=∑(oob error_1-oob error_0)/随机森林中决策树的个数 （4）对随机森林中的特征变量按照特征重要性降序排序。 （5）然后重复以上步骤，直到选出m个特征。 解释：用这个公式来度量特征重要性，原因是：给某个特征随机的加入噪声后，如果oob error增大，说明这个特征对样本分类的结果影响比较大，说明重要程度比较高。 8、RF特征选择 首先特征选择的目标有两个： 1：找到与分类结果高度相关的特征变量。 2：选择出数目较少的特征变量并且能够充分的预测应变量的结果。 特征选择的步骤： （1）对于每一棵决策树，计算其oob error （2）随机的修改OOB中的每个特征xi的值，计算oob error_2，再次计算重要性 （3）按照特征的重要性排序，然后剔除后面不重要的特征 （4）然后重复以上步骤，直到选出m个特征。 9、几个问题 （1）为什么要随机抽取样本？ 答：如果不进行随机抽样，对于每个树的训练集都是相同的，训练出来的结果也是一样的，所以此时进行投票决策没有意义。 （2）为什么要有放回的去抽样呢? 答：如果不是有放回的抽样，那么每一棵树的训练样本是不同的，都是没有交集的，那么每棵树都是有偏的，都是片面的，树与树之间并不是完全公平的。我们需要的是，没颗决策树是公平的，然后让它们投票决策得出结果，并且这样可以防止过度拟合。 （3）这里指的有放回的抽样，是每次抽一个放回，还是一次抽n个再放回？ 注意： 构造子数据集，子数据集的数据量是和原始数据集相同的。不同子数据集的元素可以重复，同一个子数据集中的元素也可以重复。 参考资源： http://www.cnblogs.com/emanlee/p/4851555.html http://www.cnblogs.com/maybe2030/p/4585705.html http://scientistcafe.com/2016/11/18/Tree4.html http://www.cnblogs.com/justcxtoworld/p/3447231.html https://zhuanlan.zhihu.com/p/21358126

你那个dH的式子写错了

R语言之决策树和随机森林总结决策树之前先总结一下特征的生成和选择，因为决策树就是一种内嵌型的特征选择过程，它的特征选择和算法是融合在一起的，不需要额外的特征选择。一、特征生成：特征生成是指在收集数据之时原始数据就具有的数据特征，这些数据特征由收集的数据决定（其实也就是在产品定型时设定的需要收集的数据特征），当然，在数据预处理时，也可以在此基础上构造一些新的数据特征，这些特征越多越好，表示你考虑问题比较周全，具体那些变量有用或没用，这要交给下一步特征选择来决定。二、特征选择特征选择是指在原有数据特征的基础上，去除重要性比较低的特征变量，过滤出有用的特征变量。这里比较困难的是搞清楚什么样的特征比较重要？这需要根据具体的问题具体分析，有些变量的选择可以很直观的看出来，但这种直觉也不一定正确。对于常用特征选择方法主要有：过滤型、包装型、内嵌型。过滤型：是指你可以根据某个统计量的大小排序来选择特征变量，如相关系数、p值、R值等包装型：是指在一个特征集合中选取最优的特征子集。具体需要考虑：用什么样的算法来选取？选取的最优的标准是什么？常用的算法是分步回归包括向前搜索、向后删除、双向搜索向前搜索：每次选取一个能使模型预测或分类效果最好的特征变量进来，进来后不退出，直到模型改善效果不再明显；向后删除：是指每次从特征全集中每次删除一个特征变量能使模型预测或分类效果最好，退出后不进来，直到模型改善效果不再明显；双向搜索：是指每次每次删除一个特征变量或加入一个特征变量能使模型预测或分类效果最好，退出的不进来，进来的不退出，直到模型改善效果不再明显；这里再提一下特征变量选择的几个标准：p值、R值、AIC（越小效果越好）、BIC（越小效果越好）、熵（越小效果越好）内嵌型：这里应该主要就是像决策树这样的情况，算法内部完成特征变量的选取。三、决策树决策的几个要点：1、如何决策？（也就是如何树如何分叉）------熵和信息增益---这里面包含的就是特征的选择？哪个特征变量包含的信息量大，就排在前面，至于最后树的深度就决定特征变量的个数。当然不同的算法使用的衡量的标准不同，还有：信息增益比、基尼不纯系数2、如何剪枝？-----一般是事后剪枝3、连续性变量如何离散化？-----阈值的选择熵：是指信息的混合程度（混乱程度），熵【0-1】越大表示该集合中混合的信息越多，也就表明这次的分叉效果不好还是有很多不同类的信息混在一起信息增益：熵值的减少量，越大越好决策树模型特点：模型易于解释；存储空间较小，以树的形式存储，决策树是一个弱分类器，不能完全分类，需要把多个弱分类器通过多数投票法组合在一起。四、R包实现决策树library(rpart)library(rpart.plot)## rpart.control对树进行一些设置## xval是10折交叉验证## minsplit是最小分支节点数，这里指大于等于20，那么该节点会继续分划下去，否则停止## minbucket：叶子节点最小样本数## maxdepth：树的深度## cp全称为complexity parameter，指某个点的复杂度，对每一步拆分,模型的拟合优度必须提高的程度ct <- rpart.control(xval=10, minsplit=20, cp=0.1)## kyphosis是rpart这个包自带的数据集## na.action：缺失数据的处理办法，默认为删除因变量缺失的观测而保留自变量缺失的观测。 ## method：树的末端数据类型选择相应的变量分割方法:## 连续性method=“anova”,离散型method=“class”,计数型method=“poisson”,生存分析型method=“exp”## parms用来设置三个参数:先验概率、损失矩阵、分类纯度的度量方法（gini和information）## cost是损失矩阵，在剪枝的时候，叶子节点的加权误差与父节点的误差进行比较，考虑损失矩阵的时候，从将“减少-误差”调整为“减少-损失”data("Kyphosis")fit <- rpart(Kyphosis~Age + Number + Start,data=kyphosis, method="class",control=ct,parms = list(prior = c(0.65,0.35), split = "information"));## 作图有2种方法## 第一种：par(mfrow=c(1,3));plot(fit); text(fit,use.n=T,all=T,cex=0.9)## 第二种，这种会更漂亮一些：rpart.plot(fit, branch=1, branch.type=2, type=1, extra=102, shadow.col="gray", box.col="green", border.col="blue", split.col="red", split.cex=1.2, main="Kyphosis决策树");## rpart包提供了复杂度损失修剪的修剪方法，printcp会告诉分裂到每一层，cp是多少，平均相对误差是多少## 交叉验证的估计误差（“xerror”列），以及标准误差(“xstd”列)，平均相对误差=xerror±xstdprintcp(fit)## 通过上面的分析来确定cp的值##调用CP（complexity parameter）与xerror的相关图，一种方法是寻找最小xerror点所对应#的CP值，并由此CP值决定树的大小，另一种方法是利用1SE方法，寻找xerror+SE的最小点对应的CP值。plotcp(fit)##利用以下方法进行修剪：## prune(fit, cp= fit$cptable[which.min(fit$cptable[,"xerror"]),"CP"])fit2 <- prune(fit, cp=0.01)#利用模型预测ndata=data.frame(...) predict(fit,newdata=ndata) #案例str(iris)set.seed(1234)#设置随机数种子--使每次运行时产生的一组随机数相同，便于结果的重现#抽样：从iris数据集中随机抽70%定义为训练数据集，30%为测试数据集（常用）#这里是对行抽样,ind是一个只含1和2的向量ind <- sample(2, nrow(iris), replace=TRUE, prob=c(0.7, 0.3))trainData <- iris[ind==1,]testData <- iris[ind==2,]f<-Species ~ Sepal.Length + Sepal.Width + Petal.Length + Petal.Width#训练数据fit<-rpart(f,trainData)#预测re<-predict(fit,testData)#******************或者用其他包********************library(party)#建立决策树模型预测花的种类myFormula <- Species ~ Sepal.Length + Sepal.Width + Petal.Length + Petal.Widthiris_ctree <- ctree(myFormula, data=trainData)# 查看预测的结果z<-table(predict(iris_ctree), trainData$Species)#可以根据以上列联表求出预测的正确率---评估模型#计算准确度q<-sum(diag(z))/sum(z)五、机器集成与随机森林法则前面说过，决策树的一个特点是：弱分类器，分类不完全，需要利用集成投票的方式来增加精确度和稳健性。机器集成算法：对于数据集训练多个模型，对于分类问题，可以采用投票的方法，选择票数最多的类别作为最终的类别，而对于回归问题，可以采用取均值的方法，取得的均值作为最终的结果。主要的集成算法有bagging和adaboost算法。随机森林：随机森林就是利用机器集成多个决策树，主要有两个参数，一个是决策树的个数，一个是每棵树的特征变量个数。随机森林特点：精确度高、稳健性好，但可解释性差。(可以知道各个变量的重要性)R包实现机器集成算法：#adabag包均有函数实现bagging和adaboost的分类建模#利用全部数据建模library(adabag)a<-boosting(Species~.,data=iris)z0<-table(iris[,5],predict(a,iris)$class)#计算误差率E0<-(sum(z0)-sum(diag(z0)))/sum(z0)barplot(a$importance)b<-errorevol(a,iris)#计算全体的误差演变plot(b$error,type="l",main="AdaBoost error vs number of trees") #对误差演变进行画图a<-bagging(Species~.,data=iris)z0<-table(iris[,5],predict(a,iris)$class)#计算误差率E0<-(sum(z0)-sum(diag(z0)))/sum(z0)barplot(a$importance)b<-errorevol(a,iris)#计算全体的误差演变plot(b$error,type="l",main="AdaBoost error vs number of trees") #对误差演变进行画图#5折交叉验证set.seed(1044) #设定随机种子samp=c(sample(1:50,25),sample(51:100,25),sample(101:150,25)) #进行随机抽样a=boosting(Species~.,data=iris[samp,]) #利用训练集建立adaboost分类模z0<-table(iris[samp,5],predict(a,iris[samp,])$class)#训练集结果z1<-table(iris[-samp,5],predict(a,iris[-samp,])$class)#测试集结果E0<-(sum(z0)-sum(diag(z0)))/sum(z0)E1<-(sum(z0)-sum(diag(z0)))/sum(z1)a=bagging(Species~.,data=iris[samp,]) #利用训练集建立adaboost分类模z0<-table(iris[samp,5],predict(a,iris[samp,])$class)#训练集结果z1<-table(iris[-samp,5],predict(a,iris[-samp,])$class)#测试集结果E0<-(sum(z0)-sum(diag(z0)))/sum(z0)E1<-(sum(z0)-sum(diag(z0)))/sum(z1)R包实现随机森林：#随机森林法则library(randomForest)library(foreign)data("iris")#抽样数据ind<-sample(2,nrow(iris),replace = TRUE,prob=c(0.7,0.3))traning<-iris[ind==1,]testing<-iris[ind==2,]#训练数据rf <- randomForest(Species ~ ., data=traning, ntree=100, proximity=TRUE)#预测table(predict(rf),traning$Species)table(predict(rf,testing),testing$Species)#查看预测的效果print(rf)plot(rf)#查看重要性importance(rf)varImpPlot(rf)

主要观点：1、经典信用评分卡是基于逻辑回归的二分类模型，在变量处理方面采用WOE可以保证特征变量与目标变量之间的单调关系。在建模构建过程中，评分卡模型有着严谨的统计学理论基础做支撑。评分卡建模可以在很多场景，对于正负样本的定义对应着模型的不同应用场景。2、机器学习能够适用于高维稀疏和弱关系变量数据，对于模型细分和自适应学习方面可以节省大量人力成本，但机器学习模型复杂度高，需要建立更加完善的监控和迭代优化体系。3、根据不同的业务目标、数据质量和应用场景选择合适的建模工具才能实现经典评分卡模型与机器学习模型的优势互补，不断提高风险计量水平。一、经典信用评分卡介绍经典信用评分的本质是基于逻辑回归的二分类模型，所以对经典信用评分的介绍就可以从两个方面着手，一个是逻辑回归，一个是二分类。逻辑回归决定了评分卡的技术内核，分类方式决定了评分卡的应用场景。1.1逻辑回归与评分转换逻辑回归是统计学回归方法的一种，线性回归模型是对连续型目标变量进行预测，而逻辑回归的目标变量取值为0和1，代表不同的类别。针对0-1变量，回归函数应改用限制在[0,1]区间内的连续曲线，而不能再沿用线性回归方程，所以在线性回归模型基础上，应用Logistic分布函数进行变换，将结果投射为[0,1]区间内的连续曲线。逻辑回归可以表示成如下的参数化的Logistic条件概率分布：基于二项分布构造极大似然估计，应用梯度下降法即可以求解回归系数向量θ。对上式进行变换得到：如果定义y是坏客户的比率，那么odds=y/(1-y)即为坏样本与好样本的比值，计算回归系数后，逻辑回归直接得到的是坏客户与好客户的比值的自然对数。如果要以分数形式展现，必须经过转换，其公式为设定odds=1:1时的分数，假定为600分，设定odds每增加1倍，相对减少的分数，假设为20分，将odds=1:1及2:1时的分数套入公式，得到下列两式求解得到location=600，scale=-20/ln(2)，从而注意到score是一个和式，我们也可以将最后的得分看做是各个变量得分的加和，每一个特征维度都可以计算一个得分，这便有了评分卡的概念。1.2变量处理与WOE在变量的处理方面，首先应该想到的是分类变量的处理，通常分类变量的取值没有实际的数值意义，比如地域和学历。一个常用的办法是使用哑变量，将一个变量编译为n-1个变量（n是分类变量的取值个数），这也是大部分统计教材中介绍的方法。哑变量的编码方式会带来两个问题：首先是特征变量的维度会增加，如果考虑区域变量的话，一个变量就会衍生出几十个变量。这些变量都是二值变量，由于一个客户只能属于一个区域，所以得到的区域的衍生变量矩阵是非常稀疏的，逻辑回归不太擅长处理这类变量。其次是模型的可解释性，建模之前和建模过程中都需要经过变量筛选，仍然以区域举例，极有可能出现的一种情况是区域的衍生变量中某几个进入到了最终的模型，大部分变量被筛掉了。区域变量的信息不完整，模型展现的结果就是只考虑某几个区域。上文中提到，评分卡模型是在每一个特征变量上进行评分，进行加和得到最后的评分。如果进入到模型的区域变量是A、B、C、D，那么对于一个来自区域E的客户，就要给他打出非A、非B、非C、非D四个得分，由于没有进入到模型，作为区域E的得分便无法得到。这对于模型的使用者尤其是不太了解建模过程的业务人员来说，是一件困惑的事情。通常评分卡建模对于分类变量数值化的办法是使用WOE，WOE的计算方法如下：其中Bi是第i类取值下的坏样本数，BT为全量样本下的坏样本数，Gi是第i类取值下的好样本数，GT为全量样本下的好样本数。不难看出，WOE可以反映出某一类取值项下的好坏样本比与整体的关系，如果该类项下坏客户占比高于整体水平，那么WOE值为正值，且坏客户占比越高，WOE值越大。一方面，WOE可以作为同一变量不同取值下的客群的质量评价指标，即WOE越高，则说明该客群质量越差；另一方面，如果不同取值下的WOE值差异较大，就可以说明变量对目标变量的解释性越好。通常使用IV值来表征特征变量对目标变量的可解释程度，IV可以作为变量筛选的一个参考。IV值得计算如下：建模时，将分类变量的值用对应的WOE值替代，由于WOE的计算过程加入了特征变量的信息，可以保证的是进行WOE替换后的特征变量与目标变量的单调关系，即特征变量WOE值越大，目标变量取1的概率越高。正是由于有这样的好处，连续变量也有必要进行分段处理，然后用WOE值进入模型。以年龄为例，在信贷业务中，年龄太小或年龄太大的客户坏账率都比较高，也就是坏账率与年龄的关系是U字形的，如果直接将客户的年龄作为变量，这种非线性的关系就不能反映出来，模型的效果也会受到影响。对年龄分组后，就可以计算不同年龄段对应的WOE；相对于原来的年龄变量，分段后的WOE可以看做是重排序，将U字形关系变成了单调性关系。连续变量分段还有一个好处就是可以将极值纳入到分段中，防止变量的过拟合。另外，缺失值也可以单独作为一类，计算WOE进入模型，不必进行缺失值填充。对于连续变量的分组方法，可以采用等值或等频分段的方法，结合业务经验确定分组边界；也可以使用最优化算法，比如寻找分界点使得分段后的变量IV值尽可能大。需要注意的是，由于WOE的计算加入了目标变量的信息，为了保证模型的稳定性，分段时各段的样本量不能太少，可以将WOE相近的段进行合并。1.3评分卡应用数值变量分段后，与分类变量一样进行WOE计算，然后建立逻辑回归模型，采用逐步回归建立模型，所有变量通过显著性检验和业务解释后就可以得到评分卡。假设一个只考虑性别和年龄的评分卡模型，确定location=600，scale=-20/ln(2)，那么得到的评分卡举例如下：变量取值WOE系数scale评分截距项10.23-20/ln(2)-6.6性别男0.70.25-5.0女-0.64.3年龄18-250.40.45-5.226-40-0.33.941-60-0.45.260以上0.2-2.6上表中各子项的评分计算为WOE*系数*scale，评分卡在应用时只需要根据客户各个特征的取值在location的基础上进行加减分即可。比如一个男性、20岁的客户，评分就是-6.6-5.0-5.2+600=583.2。1.4不同业务场景的评分卡二分类就是建模中的目标变量分为正类和负类，一般正类就是我们的关注类。正类和负类的划分需要有明确的业务含义。评分卡建模工作可以分为六个部分，分别是业务理解、数据理解、数据预处理、模型构建、模型评估和模型部署；其中业务理解和模型部署作为建模工作的起点和终点，都与业务有着紧密的联系。按照应用场景的不同，信用评分可以分为申请评分模型、行为评分模型和催收评分卡模型。对于申请评分模型和行为评分模型来说，正、负样本类的业务定义就是违约和非违约；对于催收评分模型来说，由于进入到催收阶段的客户都是违约客户，所以催收模型的正样本就是不还款继续变坏的客户。当然，评分卡模型可以应用的范围不止信用评估方面，比如客户流失预测模型中，正样本就是流失的客户；在广告点击预测中，正样本是点击广告的客户；在个性化商品推荐中，正样本就是浏览或购买商品的客户。诸如此类应用模式，不一而足。有些模型中，好坏样本是容易定义的。比如滚动率预测模型是催收评分模型的一种，对于M1-M2滚动率预测模型来说，全量客户就是处于M1的客户，正类样本就是进入M1后一个月内未还款进入M2逾期的客户。而对于申请评分模型，由于客户获得信用卡后，风险暴露需要一定的时间，可能是6个月、12个月、18个月甚至更长，这就需要设置一个阈值，也就是表现期，定义在这个表现期内违约的客户为正类样本。对于会员流失预测模型，客户会员到期后可能过几天就会续费接着购买会员，所以到期后多长时间内不续费才算流失。对于收益评估模型，要定义一个阈值，收益高于这个金额阈值的客户为正样本类，这些阈值是需要通过数据分析得到的。样本分类完成后，就可以着手数据处理和模型构建的过程了，最后的模型部署也要参考样本分类时的业务定义。二、机器学习在信用评估中的应用随着互联网大数据的兴起，银行也在试图引进新技术，充分挖掘自身的数据价值。对信用卡业务来说，百万级的月申请量、千万级的客户规模、万亿级的年交易量，并且随着移动互联网和第三方征信的发展，银行可以获得客户的数据越来越多，这些数据为机器学习的应用提供了肥沃的土壤。2.1机器学习算法概述根据建模过程中的样本标签情况，通常机器学习算法可以分为有监督和无监督两种（半监督是二者相结合的一种方法）。在信用评估方面，由于事先须有违约和正常样本标签，所以一般采用有监督的机器学习算法。有监督的机器学习算法种类繁多，包括简单的最近邻算法、朴素贝叶斯、决策树、回归，以及复杂的支持向量机和神经网络，还有实践效果显著的集成学习算法如随机森林、梯度提升算法（GBDT）等等。另外，信用评分卡模型的历史要早于机器学习，逻辑回归算法在二者中的地位和意义略有区别。机器学习的算法越来越成熟，不论是开源的算法包如Python、R，还是提供专业建模平台的商业化产品，模型构建的过程变得越来越简单。特征数据准备好之后，灌入算法包或者建模平台，就可以得到模型结果，达到预期效果后就可以将模型发布上线；毕竟，“机器学习应用的本质基本上就是特征工程”。随着数据积累量的增多、数据维度的丰富、业务复杂性的增加，机器学习相较于经典评分卡模型带来的改变主要有以下两个方面。2.2对于高维稀疏数据和弱关系变量的应用工作中发现，如果建模的数据并非高维稀疏，目标变量取值分布非严重失衡且各类均有较多的样本支持建模，那么机器学习算法相对于经典评分卡模型并未表现出很大的优势。大数据背景下可以用于建模的数据极大丰富，但通常都存在数据质量问题；本质上数据质量能够决定模型效果的天花板，建模方法的优化只能不断接近这个天花板。在信用评估方面，信贷历史和交易数据都是强相关变量，也是传统金融机构在评分卡模型中大量使用的变量，而对于没有信贷和交易记录的人自然就不能被评估，也就不能获得相应的金融服务。经典评分卡应用时对数据质量的要求较高，而正是由于建模的样本拥有这些强相关变量，评分卡模型也能做出比较好的效果。在今天的大数据征信中，准确评估那些没有信贷记录和金融交易数据的客户的风险是所有征信企业的初衷，所以社交数据、网页浏览数据、APP使用数据、地理位置信息等均可以纳入建模过程。这些数据或独立使用、或辅助金融交易变量建立模型，对客户的信用风险进行评估。评分卡模型基于强相关变量进行建模，经过变量筛选后进入模型的变量一般为十个左右，且主要刻画的是线性关系，这显然不能满足大数据征信动辄成百上千的变量需求。从另一个角度来看，逻辑回归也可以看作是单隐含层、单节点，经过Sigmod变换的简单神经网络，其对复杂数据的处理能力必然有限，不能满足实际需求。2.3建模过程的批量化和模型的自适应性一方面，随着业务条线逐渐增多，越来越需要定制化的模型。以申请评分举例，申请不同卡种的客户、来自不同渠道的客户甚至不同地域的客户应该有着不同的风险表现，基于他们各自的数据应该配置不同的申请模型。这些建模过程大都类似，数据准备工作也是如出一辙，模型的结果依据数据表现不同而不同。机器学习建模的过程从变量筛选、模型构建、模型评估一系列流程可以实现自动化，可以很方便的做出细分模型。另一方面，所有模型都是基于历史数据预测未来，模型准确的一个大前提是未来的数据表现与历史一致。目前线上申请渠道客户量和无人行征信客户申请比例都在逐渐增加，客户结构在发生着变化；另外随着新技术的产生欺诈手段不断翻新，这些都对模型的稳定性提出挑战。模型需要不断补充新数据，进行学习和更新。单就模型构建来说，机器学习模型的自动化构建可以对模型细分和模型自适应节省大量的人力。三、经典评分卡与机器学习应用的互补如上文所说，在进行评分卡建模前需要对变量进行分组，计算WOE保证特征变量与目标变量的线性关系，随后采用逐步回归筛选进入模型的变量，并通过多重共线性检测和变量显著性检验，可以说每一步都是有严格的统计学理论支撑。最终进入模型的变量个数一般不会过多，但对目标变量的区分能力都较强，再加上回归模型的可解释性较强，通过以上过程建立的经典评分卡模型大都比较稳定，因此经典评分卡可在国内外银行中得到了广泛应用。机器学习作为随着互联网和大数据兴起而逐渐发展成熟的新技术，基本脱离了经典统计学的经验分布假设，因为大数据概念下，样本即是总体，所以模型对于数据的依赖性更强。对于前文提到的高维稀疏和弱关系变量数据自然还是复杂的机器学习算法如神经网络、支持向量机或者组合模型如随机森林、梯度提升决策树的模型效果更好，但同时，模型的复杂度增加带来的问题一个是易过拟合，另一个是可解释性差。支持向量机的核函数如何选择，神经网络的隐含层、节点数、转换函数如何设置，组合模型的模型个数、抽样方式如何确定，这些尚未有绝对正确的理论，只能凭经验确定，再辅以不断的参数调试，才能得到效果比较好的模型，对于中间的训练过程，很难有直观的认识，数据的变化对于模型效果的影响可能如蝴蝶效应，很难提前预估，高维稀疏数据的不稳定性和模型本身易过拟合，这两点都要求对机器学习模型的效果进行及时的监控和更新迭代。此外，随着算法本身的不断成熟完善，机器学习建模工具的门槛在不断降低，数据的归集、诊断、治理和特征工程这些脏活儿累活儿才是应用好大数据的关键。可以预见的是，未来评分卡模型一定还会在信用评估方面占有一席之地；机器学习也会逐渐发挥自身的优势，尤其是在复杂多变的反欺诈领域。大数据背景下，根据不同的业务目标、数据质量和应用场景选择不同的建模方法，实现经典评分卡模型和机器学习模型的优势互补，才能不断提升风险计量的水平，更好地指导业务决策。作者张发，中国光大银行信用卡中心风险管理部。

　　1.个体因素：人口统计学特征变量，包括性别、年龄、受教育程度、工作年限、工作职位等；心理学特征变量，包括能力、动机、性格特征等。　　2.组织因素：从“人—岗匹配”转为“人—组织匹配”观念看人效；从组织管理角度看人效；从产权制度层面看人效。　　3.环境因素：经济视角看“人效”；人口视角看人效；产业结构视角看人效；从“文化观念”看人效的变化；从“教育水平”看人效的变化；从“制度安排”看人效的变化。

一般用于网络用语，是“奶奶的”的拼音缩写，用于骂人，也有只是用于表示语言的粗俗。

假设我们考虑一个最简单的线性模型，我们比较两个估计结果：(1) 最小二乘估计(2) 岭估计其中(2)中的第二项即可看成一个正则项。那么我们如何说明加入了这个正则项后，相较于来说，确实避免了过拟合呢？因为从数学上可以证明，，注意这里的小于是严格的小于。这里的证明是要用到矩阵范数和向量范数的相容性。这个性质本身告诉了我们这样一个及其重要的本质：加入正则项后，估计出的（向量）参数的长度变短了（数学上称为shrinkage）。换句话说，长度变短了就意味着，向量中的某些分量在总体程度上比的分量变小了。极端来说，向量中的某些分量可能（因为也可能是因为每个分量都变小一点点最后造成整体长度变小）被压缩到了0。虽然这里其实还没有完整说明我们实现了避免过拟合，但至少从某种程度上说，加入正则项和的参数估计是符合我们之前的预定目标的，即用尽量少的变量去拟合数据。

不对各变量标准化处理会影响具有小数量级的特征变量。根据查询相关信息得知不对解释变量进行标准化，具有小数量级的特征变量的影响就会微乎其微，对各变量数值进行标准化处理，或者叫无量纲化处理，解决各数值不具综合性的问题。

研究区域化变量并通过研究,刻画出它的特征,通常有两种方式:一是全面完整地描述它的所有点信息特征;二是通过研究它的若干典型(关键)特征达到了解它的目的。第一种方式固然能够达到详尽了解区域化变量的目的,但实际上很少有做到的可能,即使能做到也无必要。如同一个画家素描人像,并不需要把这个人身体的全部部位上的每个点都画出来,只需把关键部位(如脸形、五官、头发等)准确地刻画出来就行了,就能满足需要了。对于区域化变量的刻画正是通过对其数字特征的刻画来达到了解它的目的。但需指出的是,区域化变量与一般随机变量虽然相似,但是不同。随机变量的数字特征是通过数字表达的,而区域化变量的数字特征是通过函数来表达的。区域化变量的主要数字特征为区域化变量的平均值函数、区域化变量的方差函数和区域化变量的变差函数(也称变差函数或变程方差函数)。1.区域化变量的平均值函数定义:设E[Z(x)]为区域化变量的平均值函数。对于自变量x的每一个确定值x0,它的函数值等于区域化变量Z(x)在x0值处的平均,即E[Z(x)]x=x=E[z(x0)]这就是说,对于区域化变量Z(x),当x=x0时,Z(x0)便是一个随机变量,它的均值为E[Z(x0)],当x为变量时,则为E[Z(x)]函数,E[Z(x)]是区域化变量Z(x)的所有实现的一个平均值。它体现了区域化变量取值平均的大小。这时我们定义中心化的区域化变量Z0(x)为区域化变量Z(x)与其平均值E[Z(x)]的差,即Z0(x)=Z(x)-E[Z(x)],于是地质统计学(空间信息统计学)基本理论与方法应用上式说明,中心化的区域化变量的平均值恒等于零。这是区域化变量一个重要的数字特征(E是数学期望,一般指随机变量取值的平均数)。2.区域化变量的方差函数区域化变量的平均值函数E[Z(x)]体现了区域化变量Z(x)取值平均的大小,但仅知道它的均值是不够的,还应该了解区域化变量的取值在均值周围是如何变化的。譬如一批统计数字,只知道它的平均数是不够的,还应知道它们分散的程度。区域化变量的方差函数则是刻画分散性的指标。这一重要的数字特征对于研究区域化变量的特征具有重要意义。定义:设D2[Z(x)]为区域化变量的方差函数。对于自变量x的每一个确定值x0,它的函数值等于区域化变量Z(x)在x0值处的方差。即地质统计学(空间信息统计学)基本理论与方法应用(方差函数D2[Z(x)]也可以作:Var[Z(x)]从上式中很容易看出,方差函数D2[Z(x)]实际是点x函数Z(x)-E[Z(x)]的数学期望,即E{[Z(x)]2}-{[EZ(x)]}2。它反映和刻画取值的空间信息数据的波动情况,波动情况的大小是以E[Z(x)]为基准的。但是,在自然界研究地质客体(如矿床)时往往涉及多个区域化变量Z(x),这就需要研究多个随机变量Z(x)之间的联系程度,相互之间是如何协同变化的。于是在方差函数的基础上提出了协方差函数概念。协方差的大小,反映了两个随机变量协同变化的密切程度。协方差函数(covariance function)记作:“Cov”。对于区域化变量Z(x)空间的两个点x和x+h处的两个随机变量Z(x)和Z(x+h),协方差函数可用下式表达:Cov[Z(x),Z(x+h)]=E[Z(x)·Z(x+h)]-E[Z(x)]·E[Z(x+h)]这里需注意的是:(a)由于该数学式中表示的是同一个区域化变量Z(x)两个不同空间位置的随机变量Z(x)和Z(x+h)之间的关系,故Cov[Z(x),Z(x+h)]又称自协方差函数,简称协方差函数或协方差。(b)当h=0时,则Cov[Z(X)]2=E[Z(x)]-2{E[Z(x)]}2。便有Cov[Z(x)]2=D2[Z(x)]=Var[Z(x)]因此,可以认为方差函数是协方差函数当h=0时的特例。3.区域化变量的变差函数区域化变量定义明确告诉我们,它不是一般意义的变量,而是同时具备地质变量空间变化的两大特征(相关性和随机性)的。区域化变量的这一特征,在研究区域化变量数字特征中至关重要。变差函数(又称结构函数)便是正确反映地质现象区域化的随机函数。其表达式为:γ(x,h)= [需说明的是,该式是假设空间点只在一维x轴上变化而定义的。如果Z(x)定义在二维、三维空间中,其x便是二维、三维空间点,h应写成向量 ,因为h是二维、三维空间中的向量。]这是地质统计学的基本工具,是地质统计学中许多计算的基础(详见后面章节)。

正保会计网校为了帮助广大考生充分备考，整理了银行从业资格考试知识点供大家参考，希望对广大考生有所帮助，祝大家学习愉快，梦想成真！第三章　信用风险管理3.2 信用风险计量3.2.2 客户评级2.客户信用评级的发展从银行业的发展历程来看，商业银行客户信用评级大致经历了专家判断法、信用评分模型、违约概率模型三个主要发展阶段。（2）信用评分模型。信用评分模型是一种传统的信用风险量化模型，利用可观察到的借款人特征变量计算出一个数值（得分）来代表债务人的信用风险，并将借款人归类于不同的风险等级。对个人客户而言，可观察到的特征变量主要包括收入、资产、年龄、职业以及居住地等；对法人客户而言，包括现金流量、各种财务比率等。信用评分模型的关键在于特征变量的选择和各自权重的确定。目前，应用最广泛的信用评分模型有线性概率模型（Linear Probability Model）、Logit模型、Probit模型和线性辨别模型（Linear Discriminant Model）。信用评分模型是商业银行分析借款人信用风险的主要方法之一，但在使用过程中存在一些问题：①信用评分模型是建立在对历史数据（而非当前市场数据）模拟的基础上，回归方程中各特征变量的权重在一定时间内保持不变。②信用评分模型对借款人历史数据的要求较高，商业银行需要建立起一个包括大多数企业历史数据的数据库。（3）违约概率模型违约概率模型分析属于现代信用风险计量方法。与传统的专家判断法和信用评分模型相比，违约概率模型能够直接估计客户的违约概率。同时，需要商业银行建立一致的、明确的违约定义，并且在此基础上积累至少五年的数据。毫无疑问，信用风险量化模型的发展正在对传统的信用风险管理模式产生革命性的影响。针对我国银行业的发展现状，商业银行将违约概率模型和传统的信用评分法、专家系统相结合、取长补短，有助于提高信用风险评估/计量水平。　　相关链接：银行从业资格考试《风险管理》知识点汇总　　　　　　　 银行从业资格考试《风险管理》章节练习题汇总00分享：查看更多打开APP 订阅最新报考消息今日热搜1银行从业2银行报名条件3银行教材变化4银行报名时间5银行考试科目6银行从业大纲热点推荐：2021银行职业资格考试每日一练（10.31）2021银行职业资格考试每日一练（10.29）2021银行职业资格考试每日一练（9.12）2021银行职业资格考试每日一练（9.5）2021银行职业资格考试每日一练（07.26）精品课程银行职业-高效实验班测评综合 高效备考13200人已学免费试听辅导课程免费试听关注正保金融大讲堂公众号获得海量资料知晓一手资讯有奖原创征稿

个体效应是用来捕捉不随时间变化的个体之间的差异，可以用来克服遗漏变量的问题。例如，不随时间变动的个体的特征变量：性别，或者一段时间内的工作、学校等特征变量。

战略群分析是战略分析工具之一。主要步骤为：（1）以产品种类、产品的地域覆盖、销售渠道、产品品质、所用技术、纵向整合程度、研发投人强度等战略维度为基础，把同一产业中的企业划分为若干战略群；（2）对战略群内企业间的竞争状况进行分析；（3）对战略群之间的竞争状况进行分析。温馨提示：以上解释仅供参考。应答时间：2020-12-17，最新业务变化请以平安银行官网公布为准。 [平安银行我知道]想要知道更多？快来看“平安银行我知道”吧~ https://b.pingan.com.cn/paim/iknow/index.html

个体效应和时间效应的含义分别是：1、个体效应（FE）：是用来捕捉不随时间变化的个体之间的差异，可以用来克服遗漏变量的问题。例如，不随时间变动的个体的特征变量：性别，或者一段时间内的工作、学校等特征变量。2、时间效应（TE）：是解决不随个体变化但随着时间而变化的遗漏变量问题。例如用来捕捉经济周期以及宏观经济变化。双向固定效应：既考虑了时间效应又考虑了个体效应。固定效应模型的基本假设：实验结果只想比较每一自变项之特定类目或类别间的差异及其与其他自变项之特定类目或类别间交互作用效果，而不想依此推论到同一自变项未包含在内的其他类目或类别的实验设计。什么时候做固定效应：采用面板数据时，一般来说，不可观测的异质性通常会对解释变量有影响，因此考虑个体不可观测异质性时要做固定效应。例如，探究政策实施效果分析时，通常要消除个体（政策实施对象）和时间（政策实施时间）差别带来的影响，就要考虑时间和个体的固定效应。政策实施效果分析中最常用的方法是多期-双重差分模型（DID），在公式中加时间和个体固定效应。

产业市场细分，除可利用部分细分消费者市场的变量外，还需要使用一些其他的变量，即（1）人口变量。包括行业、公司规模、地理位置；（2）经营变量。包括技术、使用者或非使用者情况、顾客能力；（3）采购方法变量。包括采购职能组织、权力结构、与用户的关系、采购政策、购买标准；（4）情况变量。包括紧急、特别用途、订货量；（5）个性特征变量。包括购销双方的相似点、对待风险的态度、忠诚度。

【答案】：C信用评分模型是一种传统的信用风险量化模型，利用可观察到的借款人特征变量计算出一个数值（得分）来代表债务人的信用风险，并将借款人归类于不同的风险等级。信用评分模型的关键在于特征变量的选择和各自权重的确定。

Lending Club P2P借贷风险策略分析 文中分析了LC贷款风险的相关影响因素，但不够量化、系统。 参考 信用评分卡模型 ，对风险因素的量化分析可以采用WOE（Weight of Evidence）和IV（Information Value）评价。 对多个特征变量进行单因素IV分析： 可以看出，影响贷款风险的关键因素是 信用水平+经济水平 。通过IV值筛选出关键因素后，可以使用特征继续进行分类回归建模。 关注的结果为贷款是否不良（Good/Bad），要分析各个特征变量对贷款是否不良的影响程度。 考虑数据集的特征，处理流程： 以利率数据的处理为例。 根据IV的定义，IV值判断变量预测能力的标准是： 可以看出贷款利率的水平对不良贷款风险的预测能力很强。 选取15个特征进行分析，包括grade、term_num（分期数）、home_ownership（住房产权）、income_level（收入水平）等等。 计算所有变量的IV值，只保留IV>0.02的特征： 分析： 综上，可以得到一个直观的结论： 贷款不良率主要由贷款人信用水平和经济收支状况相关 ，其余因素影响较小。

难啊

他们之间的区别在于多了一个固定的，时间。fixed effect只是固定个体，而two way fixed effect是固定个体和时间。固定效应模型，之所以叫作“固定”，是因为它可以控制住遗漏的个体特征变量。而控制的方法，其实就是减去个体的组内均值，或是增加个体虚拟变量（具体操作可见当时写的关于stata基础操作的文章）两种方式。其实也很好理解，既然个体特征是与个体相关，且不随时间改变的，那么可以通过一定的手段处理掉个体特征在上边其实已经说过，所谓个体固定效应，其实就是（通过虚拟变量或组内去心的方式）控制住了随个体改变，但不随时间改变的变量。按照这个思路，我们还可以做各种各样的固定效应，常见的双固定效应，是时间和个体的固定效应。但是stata中只设定了可以通过, fe的可选项对个体效应进行固定。对时间效应固定则需要通过刚开始介绍的设置虚拟变量和组内去心的方式实现。资料来源于互联网。

市场细分的标准有4类。1、人口和地理特征。消费者是需求的载体，需求可能因消费者人口特征的不同而不同。人口特征变量包括年龄、性别、家庭生命周期、收入、职业、教育、宗教等因素。这是市场细分惯用的和最主要的标准，它与消费需求以及许多产品的销售有着密切联系，而且这些因素又往往容易被辨认和衡量。地理特征变量包括地理区位、行政层级等等。以地理环境为标准细分市场就是按消费者所在的不同地理位置将市场加以划分，是大多数企业采取的主要标准之一，这是因为这一因素相对其他因素表现得较为稳定，也较容易分析。地理环境主要包括区域、地形、气候、城镇大小、交通条件等。由于不同地理环境、气候条件、社会风俗等因素影响，同一地区内的消费者需求具有一定的相似性，不同地区的消费需求则具有明显的差异。2、心理特征和生活方式。在物质丰裕的社会，根据马斯洛需求分级，需求往往从低层次的功能性需求向高层次的体验性需求发展，消费者除了对商品的物理功能提出更高要求外，对品牌所附带的价值内涵和生活信息也有所期待。消费者心理特征和生活方式上的差异，会导致对价值内涵和生活信息需求的差异。在地理环境和人口状态相同的条件下，消费者之间存在着截然不同的消费习惯和特点，这往往是消费者的不同消费心理的差异所导致的。尤其是在比较富裕的社会中，顾客消费心理对市场需求的影响更大。3、产品态度和利益追求。消费者购买某种商品都是为了追求某种利益，满足某种需求。利益点的不同就导致需求实质上的不同。利益追求的不同，就会导致他们有不同的产品态度做出对同一件商品完全不同的评价和购买决策，因而产品态度和利益追求是影响需求差异的一个重要因素。4、消费行为和价值。如果说前3类是导致需求差异的内在因素，消费行为和价值则是体现需求差异的外在因素。消费行为包括对商品的使用频率、使用场合、使用时间、忠诚度等，价值包括消费者对商品的使用量以及其所代表的价值，根据这个维度，可以把消费者分为重度用户、中度用户和轻度用户，也可以分为忠诚用户和摇摆客户等等。注意事项1、不同类型企业在市场细分时应采取不同的标准。如消费品市场主要根据地理环境、人口状况等因素作为细分标准，但不同的消费品市场所使用的度量也有差异。如手表市场按性别、收入等变量细分，彩电则按家庭人口、收入等细分。2、市场细分的标准是随社会生产和消费需求的变化而不断变化的。由于消费者价值观念、购买行为和动机不断变化，企业细分市场采用的标准也会随之变化。如轿车原来只需用"收入"指标来细分，而今天消费者购车除了考虑经济承担力外，还追求轿车的性格等内容。3、企业在进行市场细分时，应注意各种标准的有机组合。在选择细分标准时，可以采取单一标准，更多情况下则采用多项标准的组合，这样可使整个市场更细、更具体，企业也更易把握细分市场的特征。4、市场细分是一项创造性的工作。由于消费者需求的特征和企业营销活动是多种多样的，市场细分标准的确定和选择不可能完全拘泥于书本知识。企业应在深刻理解市场细分原理的基础上，创造新的有效的标准。

以文字的样式来解释。如果是写论文，一般直接无脑使用固定或双固定模型。但是如果是写大作业，或是老师要求检验，才需要对混合OLS、随机效应和固定效应的选择进行检验。固定效应模型，之所以叫做“固定”，是因为它可以控制住遗漏的个体特征变量。而控制的方法，其实就是减去个体的组内均值，或是增加个体虚拟变量，操作可见当时写的是关于操作的两种方式。在确定使用变系数模型之后，我们还需要判断到底应该使用随机还是固定效应模型。其实从刚才的理论分析我们可以知道，随机效应需要的假设比固定效应更强（因为要求解释变量和个体遗漏特征不相关），但是相比之下，固定效应却有更多的自由度损失（因为待估参数更多），因此我们需要对这二者进行取舍。其实也很好理解，既然个体特征是与个体相关，且不随时间改变的，那么可以通过一定的手段处理掉个体特征。

目前参数化技术大致可分为如下三种方法：（1）基于几何约束的数学方法；（2所谓图形特征联动就是保证在图形拓补关系不变的情况下，对次约束的驱动，

3.2.2.1 技术原理主成分分析方法（PCA）是常用的数据降维方法，应用于多变量大样本的统计分析当中，大量的统计数据能够提供丰富的信息，利于进行规律探索，但同时增加了其他非主要因素的干扰和问题分析的复杂性，增加了工作量，影响分析结果的精确程度，因此利用主成分分析的降维方法，对所收集的资料作全面的分析，减少分析指标的同时，尽量减少原指标包含信息的损失，把多个变量（指标）化为少数几个可以反映原来多个变量的大部分信息的综合指标。主成分分析法的建立，假设xi1，xi2，…，xim是i个样品的m个原有变量，是均值为零、标准差为1的标准化变量，概化为p个综合指标F1，F2，…，Fp，则主成分可由原始变量线性表示：地下水型饮用水水源地保护与管理：以吴忠市金积水源地为例计算主成分模型中的各个成分载荷。通过对主成分和成分载荷的数据处理产生主成分分析结论。3.2.2.2 方法流程1）首先对数据进行标准化，消除不同量纲对数据的影响，标准化可采用极值法 及标准差标准化法 ，其中s＝ （图3.3）；图3.3 方法流程图2）根据标准化数据求出方差矩阵；3）求出共变量矩阵的特征根和特征变量，根据特征根，确定主成分；4）结合专业知识和各主成分所蕴藏的信息给予恰当的解释，并充分运用其来判断样品的特性。3.2.2.3 适用范围主成分分析不能作为一个模型来描述，它只是通常的变量变换，主成分分析中主成分的个数和变量个数p相同，是将主成分表示为原始变量的线性组合，它是将一组具有相关关系的变量变换为一组互不相关的变量。适用于对具有相关性的多指标进行降维，寻求主要影响因素的统计问题。

截面数据观测变量应该关注的指标有，截面的面积大小，截面的运动速度和截面的表面粒子数量。因为计算截面的数据很麻烦，所以要关注的数据很多