矩阵因式分解顺序

为什么要进行矩阵分解？ 1、从矩阵变换的角度： 将复合变换后的矩阵分解成基本变换过程。具体请看奇异值分解之矩阵变换角度。 2、从 研究动机 的角度: 首先要理解基变换（坐标变换）再理解特征值的本质。 1、如果一个矩阵的行列式为0（非满秩），其特征值为0，这个证明比较简单： (单位矩阵有时候用 表示，有时候用 表示。) 如果 ，那么 ，进而 2、对于一个 的矩阵 ，其 ; 3、主对角线上的元素都不为0，其他元素都为0的矩阵叫对角矩阵，对角矩阵一定是正交矩阵，即其基两两垂直。 特征值分解就是矩阵的对角化，就是可以将 分解为 ， 是由对应特征向量组成的矩阵--特征矩阵， 为对角矩阵，对角线上的元素为 的特征值。只有在一定条件下，一个变换可以由其特征值和特征向量完全表述，也就是说： 所有的特征向量组成了空间的一组基 。并不是所有方阵都可以对角化，方阵 可以被对角化的条件是 ： 正交矩阵一定可以对角化 。以三维空间为例，正交矩阵就是歪着的立方体，对角化就是把这个立方体摆正（就是让它的某一个顶点放在原点上，同时这个顶点的三条边放在三条坐标轴上）。对角矩阵就是摆正后的立方体。 机器学习中的特征值分解， 往往是协方差矩阵，如PCA，所以我们要确保各个特征之间是线性无关的。 如何通俗地理解奇异值？ 我们知道一个向量张成的空间是一条直线， 任意实数 可以得到非零向量 张成的空间是一条直线。那么如果一个 维空间中的向量 其所张成的空间——一条直线上的点，经过一个矩阵 变换到另一个 的空间中依然在同一条直线上，这个直线是 空间中的向量 所张成的空间，只是会有对应的缩放，这个缩放的程度就是奇异值。用数学形式表达为： ， 是 空间中的向量， 是 的变换矩阵， 是 空间中的向量， 就是奇异值。 可以感觉到特征值是奇异值的特例，当m=n且 和 重叠的时候（方向可以不同），奇异值=特征值。 奇异值分解计算例子： https://www.cnblogs.com/marsggbo/p/10155801.html https://www.zhihu.com/question/22237507 https://blog.csdn.net/bitcarmanlee/article/details/52662518 https://blog.csdn.net/billbliss/article/details/78559289 SVD（奇异值分解）Python实现： https://www.cnblogs.com/endlesscoding/p/10058532.html 矩阵分解为了解决传统协同过滤处理稀疏共现矩阵能力差的问题。使用矩阵分解相比传统协同过滤也提升了泛化性。 基于矩阵分解的模型又叫潜在因素模型、隐语义模型。 矩阵分解的开端是2006年的Netflix竞赛。 1、推荐系统中： 分解的是什么矩阵？共现矩阵 怎么共现矩阵分解？ 1）特征值分解 要求待分解的是方阵，所以行不通 2）奇异值分解 要求待分解矩阵是稠密矩阵，而共现矩阵是稀疏矩阵，所以不行； 奇异值分解的复杂度是 ，复杂度很高，也不合适。 3）梯度下降法——也就是交替最小二乘法（alternating least squares，ALS），解决两个变量求解。 使用梯度下降法进行矩阵分解 （1）确定目标函数： ，就是一个MSE； （2）分别对 和 求偏导 （3）参数更新 （4）迭代 得到隐向量后，对某个用户进行推荐时，利用该用户的隐向量与所有物品的隐向量进行逐一内积运算，得到该用户对所有物品的得分，再进行排序，得到最终的推荐列表。 4)贝叶斯矩阵分解 https://zhuanlan.zhihu.com/p/26067454 2、PCA---奇异值分解

矩阵分解算法主要用于解决协同过滤算法泛化能力弱的问题。 在现实中人和商品可以进行分类，比如将人分为偏好刺激的、偏好自然的，将电影分为恐怖的、温馨的。当我们以这样信息对人和物进行标定后就可以根据他们直接的距离来判断他们的相似程度。 一般协同过滤的思路通过物品找到相似的人，在给用户1推荐和他相似的用户喜欢的物品。 对用户和物品在映射到低维度下计算他们之间的距离。 原有的 大小的共现矩阵 ，我们的目标是将它分解为 , 表示降维后的用户矩阵， 表示降维后的物品矩阵, 表示降温的程度一般 是远小于 。 如何进行矩阵分解？接下来介绍几种策略 在推荐模型中出现矩阵分解思路时自然想到了SVD（奇异值分解），SVD可以将一个矩阵 分解为 的形式，D中主对角线上是从到到小排序的奇异值，我们选择前几个奇异值和对应U和V的向量这样实现了降维。 降维后的 可以作为用户矩阵,降维后的 可以作为物品矩阵。接着使用 , 公式对所有的用户产品组合进行评分，这样我们就把原共现矩阵中用户没有评分的物品也打上分了，利用这些评分就可以完成推荐。 问题就这样完美解决了？并不是。 矩阵 要进行SVD分解它就不能存在空的数据，而我们待分解的矩阵由于用户操作的低频特点，肯定会有空的位置出现，并且如果已经有了一个填满数据的共现矩阵，那就不用进行分解直接用就可以了。针对空数据可以采用填0、填平均值等方式暴力补全数据，但是这样的操作会影响准确度而且对越稀疏的矩阵影响越大，同时存放一个暴力填满的矩阵要求更多的存储空间，还有SVD的时间复杂度 也很可观。 这个模型感觉和SVD关系不大了，他的目标是得到矩阵 和 ，这两个矩阵可以很好的反应已知的用户数据，根据以上目标构造待优化的目标函数这里 表示用户评分样本集合。为了避免过拟合引入正则项后目标函数变为接着利用梯度下降求解 和 。 Funk-SVD模式解决了SVD模型中空数据需要保留填写、SVD分解耗时、占用空间多的问题。同时考虑一些偏置。 用户偏置 ：一些用户喜欢打高分、一些用户喜欢打低分 物品偏置 ：一些电影普遍得分高 整体偏置 ：数据整体的平均得分这样可以消除偏置，让预测更合理。 该模型依然存在利用信息有限的缺点。 深度学习推荐系统 王喆 推荐系统之矩阵分解家族 推荐系统实践 项亮

  如果 可以分解为 ，其中 是对角线元素为1的下三角矩阵（称为单位下三角矩阵）， 为上三角矩阵，则称之为 的 Doolittle分解 。   如果 可以分解成 ， 是对角线元素为1的上三角矩阵(称为单位上三角矩阵)，则称之为 的 Crout分解 。   如果 可以分解成 ，其中 分别是单位下三角矩阵、对角矩阵、单位上三角矩阵，则称之为 的 LDR分解 。   这一节讨论一种将矩阵分解为列满秩与行满秩矩阵的乘积。   舒尔(Schur)定理在理论上很重要，它是很多重要定理的出发点。而矩阵的 分解在数值化代数中起着重要的作用，是计算矩阵特征值以及求解线性方程组的重要工具。   这里 是上三角矩阵， 的对角线上的元素都是 的特征值。

------------------------------------------------------------------------------------------------------------------------------------------------ 对于推荐系统来说存在两大场景即评分预测（rating prediction）与Top-N推荐（item recommendation，item ranking）。矩阵分解主要应用于评分预测场景。 推荐系统的评分预测场景可看做是一个矩阵补全的游戏，矩阵补全是推荐系统的任务，矩阵分解是其达到目的的手段。因此，矩阵分解是为了更好的完成矩阵补全任务（欲其补全，先其分解之）。之所以可以利用矩阵分解来完成矩阵补全的操作，那是因为基于这样的假设：假设UI矩阵是低秩的，即在大千世界中，总会存在相似的人或物，即物以类聚，人以群分，然后我们可以利用两个小矩阵相乘来还原它。 矩阵分解就是把原来的大矩阵，近似的分解成小矩阵的乘积，在实际推荐计算时不再使用大矩阵，而是使用分解得到的两个小矩阵。 具体来说就是，假设用户物品的评分矩阵A是m乘n维，即一共有m个用户，n个物品.通过一套算法转化为两个矩阵U和V,矩阵U的维度是m乘k，矩阵V的维度是n乘k。 这两个矩阵的要求就是通过下面这个公式可以复原矩阵A: 说起矩阵分解，我们第一个想起的就是SVD。 SVD分解的形式为3个矩阵相乘，左右两个矩阵分别表示用户/项目隐含因子矩阵，中间矩阵为奇异值矩阵并且是对角矩阵，每个元素满足非负性，并且逐渐减小。因此我们可以只需要前个K因子来表示它。 但SVD分解要求矩阵是稠密的，也就是说矩阵的所有位置不能有空白。有空白时我们的M是没法直接去SVD分解的。大家会说，如果这个矩阵是稠密的，那不就是说我们都已经找到所有用户物品的评分了嘛，那还要SVD干嘛! 的确，这是一个问题，传统SVD采用的方法是对评分矩阵中的缺失值进行简单的补全，比如用全局平均值或者用用户物品平均值补全，得到补全后的矩阵。接着可以用SVD分解并降维。 虽然有了上面的补全策略，我们的传统SVD在推荐算法上还是较难使用。因为我们的用户数和物品一般都是超级大，随便就成千上万了。这么大一个矩阵做SVD分解是非常耗时的。那么有没有简化版的矩阵分解可以用呢？我们下面来看看实际可以用于推荐系统的矩阵分解。 FunkSVD是在传统SVD面临计算效率问题时提出来的，既然将一个矩阵做SVD分解成3个矩阵很耗时，同时还面临稀疏的问题，那么我们能不能避开稀疏问题，同时只分解成两个矩阵呢？也就是说，现在期望我们的矩阵M这样进行分解： SVD分解已经很成熟了，但是FunkSVD如何将矩阵M分解为P和Q呢？这里采用了线性回归的思想。目标是让用户的评分和用矩阵乘积得到的评分残差尽可能的小，也就是说，可以用均方差作为损失函数，来寻找最终的P和Q。 在实际应用中，为了防止过拟合，会加入一个L2的正则化项。加入了正则化系数，需要调参。对于这个优化问题，一般通过梯度下降法来进行优化得到结果。 在FunkSVD算法火爆之后，出现了很多FunkSVD的改进版算法。其中BiasSVD算是改进的比较成功的一种算法。BiasSVD假设评分系统包括三部分的偏置因素：一些和用户物品无关的评分因素，用户有一些和物品无关的评分因素，称为用户偏置项。而物品也有一些和用户无关的评分因素，称为物品偏置项。这其实很好理解。比如一个垃圾山寨货评分不可能高，自带这种烂属性的物品由于这个因素会直接导致用户评分低，与用户无关。 一个用户给一个物品的评分会由四部分相加： 从左到右分别代表：全局平均分、物品的评分偏置、用户的评分偏置、用户和物品之间的兴趣偏好 BiasSVD增加了一些额外因素的考虑，因此在某些场景会比FunkSVD表现好。 SVD++算法在BiasSVD算法上进一步做了增强，这里它增加考虑用户的隐式反馈。它是基于这样的假设：用户除了对于项目的显式历史评分记录外，浏览记录或者收藏列表等隐反馈信息同样可以从侧面一定程度上反映用户的偏好，比如用户对某个项目进行了收藏，可以从侧面反映他对于这个项目感兴趣，具体反映到预测公式为： 学习算法依然不变，只是要学习的参数多了两个向量：x和y。一个是隐式反馈的物品向量，另一个是用户属性的向量，这样在用户没有评分时，也可以用他的隐式反馈和属性做出一定的预测。 它是基于这样的假设：用户的兴趣或者偏好不是一成不变的，而是随着时间而动态演化。于是提出了timeSVD，其中用户的和物品的偏置随着时间而变化，同时用户的隐含因子也随着时间而动态改变，在此物品的隐含表示并未随时间而变化（假设物品的属性不会随着时间而改变）。 其中，t为时间因子，表示不同的时间状态。 通过之前构建目标函数之后，就要用到优化算法找到能使它最小的参数。优化方法常用的选择有两个，一个是随机梯度下降(SGD)，另一个是交替最小二乘(ALS),在实际应用中，交替最小二乘更常用一些，这也是推荐系统中选择的主要矩阵分解方法。 找到两个矩阵P和Q，让它们相乘后约等于原矩阵R: P和Q两个都是未知的，如果知道其中一个的话，就可以按照代数标准解法求得，比如知道Q，那么P就可以这样算： 也就是R矩阵乘Q矩阵的逆矩阵就得到了结果，反之，知道了P 再求Q 也一样，交替最小二乘通过迭代的方式解决这个鸡生蛋蛋生鸡的难题： 1)、初始化随机矩阵Q里面的元素值 2)、把Q矩阵当做已知的，直接用线性代数的方法求得矩阵P 3)、得到了矩阵P后，把P当做已知的，故技重施，回去求解矩阵Q 4)、 上面两个过程交替进行，一直到误差可以接受为止 使用交替最小二乘好处： 1.在交替的其中一步，也就是假设已知其中一个矩阵求解另一个时，要优化的参数是很容易并行的； 2.在不是很稀疏的数据集合上，交替最小二乘通常比随机梯度下降要更快的得到结果。 在很多推荐场景中，我们都是基于现有的用户和商品之间的一些数据，得到用户对所有商品的评分，选择高分的商品推荐给用户，这是funkSVD之类算法的做法，使用起来也很有效。但是在有些推荐场景中，我们是为了在千万级别的商品中推荐个位数的商品给用户，此时，我们更关心的是用户来说，哪些极少数商品在用户心中有更高的优先级，也就是排序更靠前。也就是说，我们需要一个排序算法，这个算法可以把每个用户对应的所有商品按喜好排序。BPR就是这样的一个我们需要的排序算法。 BPR根据像交替最小二乘那样完成矩阵分解，先假装矩阵分解结果已经有了，于是就计算出用户对于每个物品的推荐分数，只不过这个推荐分数可能并不满足均方根误差最小，而是满足物品相对排序最佳 得到了用户和物品的推荐分数后，就可以计算四元组的样本中，物品1和物品2的分数差，这个分数可能是正数，也可能是负数，也可能是0。如果物品1和物品2相对顺序为1，那么希望两者分数之差是个正数，而且越大越好；如果物品1和物品2的相对顺序是0，则希望分数之差是负数，且越小越好。 目标函数： 把这个目标函数化简和变形后，和把AUC当成目标函数是非常相似的，也正是因为如此，BPR模型宣称该模型是为AUC而生的。 SVDFeature 是由上海交大Apex Data & Knowledge Management Lab(APEX)开发的一个推荐系统工具包。他们提出了一种基于feature 的矩阵分解的框架。 它的目的是有效地解决基于特征的矩阵分解。新的模型可以只通过定义新的特征来实现。 这种基于特征的设置允许我们把很多信息包含在模型中，使得模型更加与时俱进。使用此工具包，可以很容易的把其他信息整合进模型，比如时间动态，领域关系和分层信息。除了评分预测，还可以实现pairwise ranking任务。 SVDFeature的模型定义如下： 输入包含三种特征<α，β，γ>，分别是用户特征，物品特征和全局特征。 SVD ：要求矩阵是稠密的，时间复杂度高。不推荐使用。 FunkSVD ：不在将矩阵分解为3个矩阵，而是分解为2个低秩的用户项目矩阵，同时降低了时间复杂度。 BiasSVD ：考虑偏置项时使用，也就是用户的爱好。 SVD++ ：考虑用户的隐式反馈时使用。主动点评电影或者美食的用户是少数，也就是说显示反馈比隐式反馈少，这个时候就可以根据用户的隐式反馈推荐。 timeSVD ：考虑时间因素时使用。人是善变的，随着时间的流逝，兴趣也会发生变化。 ALS ：考虑建模时间时使用。强烈推荐使用，这也是社交巨头 Facebook 在他们的推荐系统中选择的主要矩阵分解算法。 BPR ：考虑排序结果时使用。 SVDFeature ：当我们有多个特征时，可以使用。SVDFeature的目的就是解决基于特征的矩阵分解。 矩阵分解算法的缺点 ：都没有解决冷启动问题 准确率表示预测正确的样本数占总样本数的比例。 TP（true positive）：表示样本的真实类别为正，最后预测得到的结果也为正； FP（false positive）：表示样本的真实类别为负，最后预测得到的结果却为正； FN（false negative）：表示样本的真实类别为正，最后预测得到的结果却为负； TN（true negative）：表示样本的真实类别为负，最后预测得到的结果也为负. 精确率表示预测为正样本的样本中，正确预测为正样本的概率。 召回率表示正确预测出正样本占实际正样本的概率。 折中了召回率与精确率。 对于评分预测任务，一般都是根据原有的评分数据，利用矩阵分解等方法去拟合原评分，使得优化后的模型可以去预测新的评分，这里就要衡量你预测的评分和实际评分的差异了，指标也很简单，分为RMSE和MSE。 MSE 是指参数估计值与参数真值之差平方的期望值; MSE可以评价数据的变化程度，MSE的值越小，说明预测模型描述实验数据具有更好的精确度。 RMSE ：RMSE是MSE的算术平方根。 AUC 这个值在数学上等价于：模型把关心的那一类样本排在其他样本前面的概率。最大是 1，完美结果，而 0.5 就是随机排列，0 就是完美地全部排错。 这个非常适合用来评价模型的排序效果，很适合作为BPR的评价指标。得到一个推荐模型后，按照它计算的分数，可以把用户想要的物品排在最前面。 具体的计算过程可看我的另一篇 文章 其中Rel表示与用户 u 相关的商品集（测试集）， Rec表示推荐给用户的前K个列表，二者的交集除以Rec的集合元素个数（其实就是K），得到Precision@K。一般是算出每个用户的Precision@K，然后取平均值。 其中Rel表示与用户u相关的商品集（测试集），Rec表示推荐给用户的前K个列表，二者的交集除以Rec的集合元素个数（也就是测试集中用户u评过分的商品数），得到Recall@K。一般是算出每个用户的Recall@K，然后取平均值。 MAP(Mean Average Precision)：单个主题的平均准确率是每篇相关文档检索出后的准确率的平均值。 主集合的平均准确率(MAP)是每个主题的平均准确率的平均值。 MAP 是反映系统在全部相关文档上性能的单值指标。 系统检索出来的相关文档越靠前(rank 越高)，MAP就可能越高。如果系统没有返回相关文档，则准确率默认为0。 例如： 假设有两个主题，主题1有4个相关网页，主题2有5个相关网页。 某系统对于主题1检索出4个相关网页，其rank分别为1, 2, 4, 7； 对于主题2检索出3个相关网页，其rank分别为1,3,5。 对于主题1，平均准确率为(1/1+2/2+3/4+4/7)/4=0.83。对于主题2，平均准确率为(1/1+2/3+3/5+0+0)/5=0.45。 则MAP= (0.83+0.45)/2=0.64。 正确检索结果值在检索结果中的排名来评估检索系统的性能。 其中Q是用户的个数，rank是对于第i个用户，推荐列表中第一个在ground-truth结果中的item所在的排列位置。 举个例子：假如检索三次的结果如下，需要的结果（cat，torus，virus）分别排在3,2,1的话，此系统地MRR为（1/3 + 1/2 + 1)/3 = 11/18 比较复杂，可参考这篇 文章 参考文章： https://blog.csdn.net/qq_40006058/article/details/89432773 https://blog.csdn.net/weixin_41362649/article/details/82848132 https://blog.csdn.net/qq_19446965/article/details/82079367 https://www.cnblogs.com/pinard/p/9128682.html https://time.geekbang.org/column/article/5055

矩阵分解(decomposition, factorization)是将矩阵拆解为数个矩阵的乘积，可分为三角分解、满秩分解、QR分解、Jordan分解和SVD(奇异值)分解等，常见的有三种:1)三角分解法 (TriangularFactorization)，2)QR分解法(QRFactorization)，3)奇异值分解法(SingularValueDecomposition)。下面分别简单介绍上面三个分解算法：1、三角分解法三角分解法是将原正方(square)矩阵分解成一个上三角形矩阵或是排列(permuted)的上三角形矩阵和一个下三角形矩阵，这样的分解法又称为LU分解法。它的用途主要在简化一个大矩阵的行列式值的计算过程，求逆矩阵，和求解联立方程组。不过要注意这种分解法所得到的上下三角形矩阵并非唯一，还可找到数个不同的一对上下三角形矩阵，此两三角形矩阵相乘也会得到原矩阵。MATLAB以lu函数来执行lu分解法，其语法为[L,U]=lu(A)。2、QR分解法QR分解法是将矩阵分解成一个正规正交矩阵与上三角形矩阵,所以称为QR分解法,与此正规正交矩阵的通用符号Q有关。MATLAB以qr函数来执行QR分解法，其语法为[Q,R]=qr(A)。3、奇异值分解法奇异值分解(singularvaluedecomposition,SVD)是另一种正交矩阵分解法;SVD是最可靠的分解法，但是它比QR分解法要花上近十倍的计算时间。[U,S,V]=svd(A)，其中U和V分别代表两个正交矩阵，而S代表一对角矩阵。和QR分解法相同，原矩阵A不必为正方矩阵。使用SVD分解法的用途是解最小平方误差法和数据压缩。MATLAB以svd函数来执行svd分解法，其语法为[S,V,D]=svd(A)。

矩阵 的因式分解是把 表示为两个或更多个矩阵的乘积。 当 时，方程 可写成 。把 写成 ，可以由解下面一对方程来求解 ： 可以证明 应用 的 分解来解 ，其中 。 解：解 。 ～ 对 进行行化简的向后步骤。 ～ 故 。 分解的计算依赖于如何求 和 。 设 可以化为阶梯形 ，化简过程中仅用行倍加变换，即把一行的倍数加于它下面的另一行。这样，存在单位下三角初等矩阵 使 。于是 ，其中 。可以证明 是单位下三角矩阵。 注意将 化为阶梯形 过程中的行变换，它把 化为 。这写行变换也把 化为 ，这是因为 分解的算法： 求下列矩阵的 分解： 解：因 有4行，故 应为 矩阵。 的第一列应该是 的第一列除以它的第一行主元素： 比较 和 的第一列。把 的第一列的后三个元素变成零的行变换同时也将 的第一列的后三个元素变成0。 ～ ～ ～ 上式中标出的元素确定来将 化为 的行化简。在每个主元列，把标出的元素除以主元后将结果放入 ： 。 容易证明，所求出的 和 满足 。

把问题说的清楚具体些呗～

矩阵分解的概念： 初中我们接触过数的分解,如: ;推广到矩阵，一个矩阵也可以分解为几个矩阵乘积的形式，矩阵分解具有不同的目的。 矩阵的LU分解的定义 是将矩阵 分解为一个下三角矩阵( )和上三角矩阵( )乘积的方式: ，其目的是为了提高计算效率。 一个矩阵可以进行LU分解的前提条件 ：对矩阵 的消元过程中不能涉及行交换操作(只有主元位置为0的矩阵在高斯消元过程需要进行行变换)。因为分解得到的 矩阵是由单位矩阵得到的，如果消元过程发生了行交换，也就意味着单位矩阵发生了行交换，对应的L矩阵就不是一个下三角矩阵。 证明如下： 当一个矩阵不用发生行交换进行消元过程的时候，那么对应获取它的 矩阵直接可以通过 矩阵取反得到，发生行交换后， 矩阵不能直接由 矩阵取反得到。 分解的时间复杂度的计算 其中 是矩阵 下三角区域需要化为 的元素的个数(一共约为 个)，完成这些元素的消元约需要进行 次初等变换，而每次初等变换意味着对矩阵内一行的 个元素都进行了一次运算，所以由 高斯消元过程总共约发生了 次数据运算}, 时间复杂度约为 。由于高斯消元过程在得到 矩阵的同时，每次初等变换操作的值取反往单位矩阵 相应的位置进行填充就可以得到 矩阵，所以整体上 分解过程的时间消耗近乎等于 过程的时间。 对于解线性系统 设 , 方程变为 ,求出 的时间复杂度约为 。 同样，对于 ,求出 的时间复杂度也约为 从而，将矩阵 通过 分解，时间复杂度总体为 分解计算时间复杂度相比求解矩阵的逆的过程求解 . 矩阵通过增广矩阵的形式求逆的时间复杂度为 ，增广矩阵有 个元素要执行消元操作。然后再求解 的时间复杂度有 次操作，所以通过矩阵的逆的方法求解线性系统的时间复杂度为 。 综上，LU分解求解线性系统的效率是比较高的。

看了麻省理工的线性代数的一部分课程，主要是补补课，大二线代忘得差不多，主要目的是学习SVD，学习SVD之前补补前面的课，第一课就是LU分解了。 L是指下三角矩阵，U是指上三角矩阵，也就是说一个矩阵可以分解为下三角矩阵和上三角矩阵的乘积，下三角阵对角元是1，上三角是主元，貌似课上是这么说的。对于任意矩阵A可以写成： 还可以写成A=LDU，其中D是对角阵，例如： 这是LU分解而LDU则是 L是一堆初等变换乘积的逆，为什么是逆呢？ 我们可以假设对于一个3*3的矩阵A化为上三角矩阵U需要将第二行第一个元素化为0，这一初等变换记作E 21 将第三行第一个，第二个元素化为0记作E 31 ,E 32 那么原式可以写为 为了简单我们令E 31 =E,那么另外两个的乘积可以设为： 注意到最终结果存在一个10，我们在消去第二行第一个元素时是乘以-2倍的，对于第三行是乘-5的，这两个是消元系数，但是10并不是，我们不想出现10，那么看看他们的逆呢？ 很明显没有10了而这就是我们要的L只体现消元系数，而没有其他的数字。 在机器学习中目前没发现作用，度娘说LU分解主要应用在数值分析中，用来解线性方程、求反矩阵或计算行列式。 是n 3 ,n*n的矩阵，消去第一列是n 2 ,第二列是(n+1) 2 ...求和约为n 3 。

矩阵实际上是一种线性变换.矩阵分解相当于原来的线性变换可以由两次（或多次）线性变换来表示.例如A=[111α=(x234y123]z)则Aα=(x+y+z2x+3y+4zx+2y+3z)即矩阵实质上是一种线性变换算符.A=[11[10-123*012]12]这里以及下面为了表示方便,引入符号*表示矩阵乘法,遵循矩阵乘法规则.则Aα=[11[10-1(x23*012]*y12]z)=[11(x-z23*y+2z)12]=(x+y+z2x+3y+4zx+2y+3z)即矩阵分解实质上是将原来的线性变换等效为两次线性变换（或多次线性变换,如果分解后矩阵可以继续分解）

解：E(Y)=1*(0.12+0.03+0.15)+3*(0.05+0.25+0.20)+5*(0.15+0.02+0.03)；E(X)=1*(0.12+0.05+0.15)+2*(0.03+0.25+0.02)+3*(0.15+0.20+0.03)；E(XY)=1*1*0.12+1*2*0.03+1*3*0.15+3*1*0.05+3*2*0.25+3*3*0.20+5*1*0.15+5*2*0.02+5*3*0.03；Cov(X,Y)=E(XY)-E(X)E(Y)。扩展资料：数值分析的主要分支致力于开发矩阵计算的有效算法，这是一个已持续几个世纪以来的课题，是一个不断扩大的研究领域。 矩阵分解方法简化了理论和实际的计算。 针对特定矩阵结构（如稀疏矩阵和近角矩阵）定制的算法在有限元方法和其他计算中加快了计算。 无限矩阵发生在行星理论和原子理论中。 无限矩阵的一个简单例子是代表一个函数的泰勒级数的导数算子的矩阵

定义:若由A经过一系列初等变换可得到矩阵B，则称A与B等价.若A与B等价,则B与A等价.若A与B等价,B与C等价,则A与C等价.A与B等价<==>秩(A)=秩(B)A与B等价<==>A与B有相等的等价标准形A与B等价<==>存在可逆矩阵P,Q，使得PAQ＝B

呵呵又是我……（题外话）首先我告诉你你给的这个例子是可以因式分解的因为AI=IA嘛言归正传：如果你把它当成单纯的数而不是矩阵他可以因式分解的话若这两个矩阵可交换（即AB=BA）那么当其为矩阵时也可以因式分解举个例子：A^2-2AB-3B^2看似可以分为（A-3B)(A+B)但是如果AB不等于BA也是不能分的因为（A-3B)(A+B)=A^2+AB-3BA-3B^2你看看如果AB不等于BA它可以=A^2-2AB-3B^2吗？当然对于你给的例子AI当然=IA自然可以因式分解了

矩阵的三角分解分好几种，有最简单的，主元的和正交的。第一和第三最常用。第三个最重要，不知道第三个分解枉学线代！简单的三角分解 A=LU L：lower下三角 U：upper上三角 这个只有形状上的要求。实际就是把一个矩阵A上三角化的过程，你会发现那个过程(可以理解为作用在该方阵A上的算子)，也是个三角阵，所以有SA=U 两边乘上S的逆便有A=LU正交分解 A=QR Q为正交阵 R为上三角，好像是这样。实际上就是Gram-Schmidt正交化方法的过程

选中对象，使用炸开命令。具体操作日下：1、我们先打开CAD软件。2、插入需要拆解的图形，这里我就使用简单的矩形来作为例子。3、我们在命令栏输入快捷键“X”并按下空格键，就进入到分解命令。4、然后，我们鼠标左键单击需要拆解的面域图形，点击之后图形会变成虚线，之后，我们按下空格键系统就会自动拆解图形。5、完成分解命令后，我们也可以单独拆解线条，用鼠标左键单击选择需要拆解的线条就可以了。

矩阵的LU分解源于线性方程组的高斯消元过程。                                                                      对于一个含有N个变量的N个线性方程组，总可以用高斯消去法，把左边的系数矩阵分解为一个单位下三角矩阵和一个上三角矩阵相乘的形式。这样，求解这个线性方程组就转化为求解两个三角矩阵的方程组。LU分解来自线性方程组求解，那么它的直接应用就是快速计算下面这样的矩阵乘法A^(-1)*B，这是矩阵方程 AX=B 的解A^(-1)*b，这是线性方程组 Ax=b 的解A^(-1),       这是矩阵方程AX=E的解，E是单位矩阵。另外，LU分解之后还可以直接计算方阵的行列式。

假定A的特征多项式是p(x)，先把p的重根全都去掉，也就是把p(x)和p"(x)的最大公因子除掉，得到以A的不同特征值为根的多项式f(x)假定f(x)=prod_{j=1}^k (x-lambda_j)令 d_j(x) = lambda_j - lambda_j [1-prod_{i eq j} (frac{x-lambda_i}{lambda_j-lambda_i})^n ]^n以及 s(x)=sum_{j=1}^k d_j(x)那么S=s(A)和N=A-s(A)就构成了A的Dunford分解（更常用的叫法是Jordan-Chevalley分解或SN分解）注意s(x)的系数是关于lambda_j的对称有理函数，所以可以由f(x)的系数来生成，不需要对f进行求根。

奇异值奇异值矩阵奇异值矩阵分解奇异值分解是线性代数中一种重要的矩阵分解，在信号处理、统计学等领域有重要应用。定义：设A为m*n阶矩阵，的n个特征值的非负平方根叫作A的奇异值。记为。(A)，则HA)^(1/2)。定理:（奇异值分解）设A为m*n阶复矩阵，则存在m阶酉阵U和n阶酉阵V，使得:A=U*S*V"其中S=diag(σi,σ2,……,σr)，σi>0(i=1,…,r)，r=rank(A)。推论：设A为m*n阶实矩阵，则存在m阶正交阵U和n阶正交阵V，使得A=U*S*V"其中S=diag(σi,σ2,……,σr)，σi>0(i=1,…,r)，r=rank(A)。说明：1、奇异值分解非常有用，对于矩阵A(m*n)，存在U(m*m)，V(n*n)，S(m*n)，满足A=U*S*V"。U和V中分别是A的奇异向量，而S是A的奇异值。AA"的正交单位特征向量组成U，特征值组成S"S，A"A的正交单位特征向量组成V，特征值（与AA"相同）组成SS"。因此，奇异值分解和特征值问题紧密联系。2、奇异值分解提供了一些关于A的信息，例如非零奇异值的数目（S的阶数）和A的秩相同，一旦秩r确定，那么U的前r列构成了A的列向量空间的正交基。关于奇异值分解中当考虑的对象是实矩阵时:S对角元的平方恰为A"A特征值的说明.(对复矩阵类似可得)从上面我们知道矩阵的奇异值分解为:A=USV,其中U,V是正交阵(所谓B为正交阵是指B"=B-1,即B"B=I),S为对角阵.A"A=V"S"U"USV=V"S"SV=V-1S2V上式中,一方面因为S是对角阵,S"S=S2,且S2对角元就是S的对角元的平方.另一方面注意到A"A是相似与S2的,因此与S2有相同特征值.注：下面的符号和上面的有差异，注意区分SVD步骤：1、求AHA或AAH2、求AHA或AAH的特征值及特征向量x1,x2,...xr，r个特征值组成3、U=(x1,x2,...xr)地4、V1=AU1Δr-1，取V2与其正交，则V=(V1，V2)则n阶复方阵U的n个列向量是U空间的一个标准正交基,则U是U距阵.一个简单的充分必要判别准则是方阵U的转置共扼距阵乘以U等于单位阵,则U是U距阵正交向量组的性质定义1Euclid空间V的一组两两正交的非零向量叫做V的一个正交向量组．若正交向量组的每一个向量都是单位向量，这个正交组就叫做一个标准正交向量组．设V是一个n维Euclid空间．若V中n个向量α1，α2，…，αn构成一个正交组，则由定理9.2.1知道这n个向量构成V的一个基．这样的一个基叫做V的一个正交基．若V的一个正交基还是一个标准正交向量组，则称这个基是V的一个标准正交基．

QR分解即是将矩阵分解为正交阵和上三角阵的乘积,严格表述如下：设A为一个n级实矩阵,且|A|≠0,则A=QT.其中Q为正交阵,T为上三角阵,且分解唯一.证明如下：（1）设A=(aij),它的n个列向量为α1,...,αn.由于|A|≠0,所以α1,...,αn线性无关,从而是R^n的一组基.利用施密特正交化过程,由α1,...,αn可得正交基和标准正交基η1,ηn：β1=α1,η1=β1/|β1|；β2=α2-(α2,η1)η1,η2=β2/|β2|；.βn=αn-(αn,η1)η1-...-(αn,η(n-1))η(n-1),ηn=βn/|βn|.再将βi=|βi|ηi (i=1,2,...,n)带入等式左边,移项整理得α1=t11η1,α2=t12η1+t22η2,.αn=t1nη1+t2nη2+...+tnnηn.其中tii=|βi|>0,(i=1,2,...,n),tij=(αj,ηi),(i≠j),即A=(α1,...,αn)=(η1,...,ηn)(t11 t12 ...t1n;0 t22 t23 ...t2n;...;0 0 0...tnn)=QT.（2）下证唯一性：若还有Q1、T1,也使得A=Q1T1=QT,其中Q、Q1正交,T、T1为主对角元>0的上三角矩阵.由Q1T1=QT得Q1^(-1)Q=T1T^(-1)由于Q1^(-1)Q是正交阵,从而T1T^(-1)也是正交阵,且为上三角阵.故T1T^(-1)主对角元为±1（由T1、T主对角元为正,故T1T^(-1)主对角元只能为1）且为对角阵.即T1T^(-1)=E,即T1=T.再由T非退化,从而Q1=Q,即分解唯一

Ax=B，改写成Ly=B，Ux=y的方程组。就相当于将A=LU分解成了两个矩阵。称为矩阵A的三角分解，或LU分解。如果L为单位下三角阵，则叫Doolittle分解，若U为单位上三角阵，则叫Crout分解。只要A的各顺序主子式不为零，则A可唯一分解成一个单位下三角阵L与一个上三角阵U的乘积。•设Ax=b，A=LU，则Ax=LUx=b于是令Ux=y，则Ly=b这样原来方程能化为两个简单方程组下面是LU分解的Fortran子程序 希望可以有所帮助!求解au=b,u!n表示为方程维数subroutine lu(a,b,n,u)implicit real(8) (a-h,o-z)real(8)::a(n,n),b(n),u(n),a_bak(n,n),b1(n),aL(n,n),aU(n,n),y(n)!exchange rowsdo i=1,n    tmpMax=0.d0 do ic=i,n if(tmpMax<dabs(a(ic,i))) then    tmpMax=dabs(a(ic,i))    i_rec=ic  endif enddo    if(i_rec.ne.i) then do jc=i,n tmp=a(i,jc) a(i,jc)=a(i_rec,jc) a(i_rec,jc)=tmp enddo tmp=b(i) b(i)=b(i_rec) b(i_rec)=tmp        endif !decomposition do j=i,n    tmp=0.d0     do k=1,i-1 tmp=tmp+aL(i,k)*aU(k,j)     enddo    aU(i,j)=a(i,j)-tmp    tmp=0.d0     do k=1,i-1 tmp=tmp+aL(j,k)*aU(k,i)     enddo     aL(j,i)=(a(j,i)-tmp)/aU(i,i) enddoenddo!find answerdo i=1,n    tmp=0.d0     do j=1,i-1     tmp=tmp+aL(i,j)*y(j)     enddo    y(i)=b(i)-tmpenddodo i=n,1,-1    tmp=0.d0   do j=i+1,n    tmp=tmp+aU(i,j)*u(j)   enddo    u(i)=(y(i)-tmp)/aU(i,i)enddoend

用高斯消去法把矩阵分解成许多初等矩阵的乘积，然后任意划分，可以写成两组初等矩阵的乘积，再分别计算两组初等矩阵的乘积，得到的两个矩阵，就是所求的两个矩阵，矩阵不唯一。

Ax=B，改写成Ly=B，Ux=y的方程组。就相当于将A=LU分解成了两个矩阵。称为矩阵A的三角分解，或LU分解。如果L为单位下三角阵，则叫Doolittle分解，若U为单位上三角阵，则叫Crout分解。只要A的各顺序主子式不为零，则A可唯一分解成一个单位下三角阵L与一个上三角阵U的乘积。•设Ax=b，A=LU，则Ax=LUx=b于是令Ux=y，则Ly=b这样原来方程能化为两个简单方程组在线性代数中， LU分解(LU Decomposition)是矩阵分解的一种，可以将一个矩阵分解为一个单位下三角矩阵和一个上三角矩阵的乘积（有时是它们和一个置换矩阵的乘积）。LU分解主要应用在数值分析中，用来解线性方程、求反矩阵或计算行列式。扩展资料：相关算法：LU分解在本质上是高斯消元法的一种表达形式。实质上是将A通过初等行变换变成一个上三角矩阵，其变换矩阵就是一个单位下三角矩阵。这正是所谓的杜尔里特算法：从下至上地对矩阵A做初等行变换，将对角线左下方的元素变成零，然后再证明这些行变换的效果等同于左乘一系列单位下三角矩阵，这一系列单位下三角矩阵的乘积的逆就是L矩阵，它也是一个单位下三角矩阵。这类算法的复杂度一般在(三分之二的n三次方) 左右。参考资料：百度百科-lu分解

任意矩阵可以分解为三个对称阵。对称矩阵是方阵，因此，原始矩阵也需要是方阵。对于任意方阵，都可以分解为一个对阵方阵和一个反对称方阵。

我以一个三维的方程组为例,搞定/***********************************LU分解求解线性方程:x1+x2+x3=6;4*x2-x3=5;2*x1-2*x2+x3=1;***********************************/#include<iostream>using namespace std;void LU(double a[3][3],double b[3]){ double m; int i,j,k; for(i=1;i<3;i++) { for(j=i;j<3;j++) { m=-a[j][i-1]/a[i-1][i-1]; for(k=i;k<3;k++) a[j][k]+=a[i-1][k]*m; b[j]+=b[i-1]*m; } for(j=i;j<3;j++) a[j][i-1]=0; }}void Back(double a[3][3],double x[3],double b[3]){ int i,j; double s; x[2]=b[2]/a[2][2]; for(i=1;i>=0;i--) { s=0; for(j=i+1;j<3;j++) s+=a[i][j]*x[j]; x[i]=(b[i]-s)/a[i][i]; }}int main(){ double a[3][3]={{1,1,1},{0,4,-1},{2,-2,1}},b[3]={6,5,1},x[3]={0}; LU(a,b); Back(a,x,b); for(int i=0;i<3;i++) cout<<"x"<<i<<"="<<x[i]<<endl; return 0;}

我用上标^H表示矩阵的共轭转置。(1)由于A半正定，所以存在酉矩阵U，使得(U^H)(A)(U)=D其中D为对角阵，D=diag(x1,x2,...,xn).对角线元素为x1,x2,...,xn，全部大于等于0.所以A=(U)(D)(U^H)令S=diag(根号x1,根号x2,...,根号xn)于是A=(U)(S^2)(U^H)=(U)(S)(U^H)(U)(S)(U^H)所以,所求的B就是(U)(S)(U^H)(2)A=(B^H)(B),其中B为行向量。于是A^2=(B^H)(B)(B^H)(B)=||B||*A=tr(A)*A所以f(x)=x^2-tr(A)x是矩阵A的一个化零多项式，f(x)没有重根说明A的最小多项式也没有重根，进而A可以对角化：A=(U)(D)(U^H)其中D为对角阵，D=diag(tr(A),0,0,...0)令S=diag(根号tr(A),0,0, ...,0)于是A=(U)(S^2)(U^H)进而B就是:U的第一行*根号tr(A)

为了求解线性方程组，我们通常需要一定的解法。其中一种解法就是通过矩阵的三角分解来实现的，属于求解线性方程组的直接法。在不考虑舍入误差下，直接法可以用有限的运算得到精确解，因此主要适用于求解中小型稠密的线性方程组。(1) 三角分解法 三角分解法是将原正方 (square) 矩阵分解成一个上三角形矩阵 或是排列(permuted) 的上三角形矩阵和一个 下三角形矩阵，这样的分解法又称为LU分解法。它的用途主要在简化一个大矩阵的行列式值的计算过程，求 反矩阵，和求解联立方程组。不过要注意这种分解法所得到的上下三角形矩阵并非唯一，还可找到数个不同 的一对上下三角形矩阵，此两三角形矩阵相乘也会得到原矩阵。 MATLAB以lu函数来执行lu分解法， 其语法为[L,U]=lu(A)。 L是下三角矩阵：lower。U是上三角矩阵：Upper (2) QR分解法 QR分解法是将矩阵分解成一个正规正交矩阵与上三角形矩阵,所以称为QR分解法,与此正规正交矩阵的通用符号Q有关。 MATLAB以qr函数来执行QR分解法， 其语法为[Q,R]=qr(A)。 Q是正交矩阵，R是n*n的上三角矩阵。

有没有现成的函数不知道，但是实现起来应该不难。我采用跟C类似的方法经过两次循环实现的。代码如下：[ra,ca]=size(a);[rb,cb]=size(b);fori=1:ra*caforj=1:rb*cbifa(i)==b(j)a(i)=0;endendenda,b可以为任意形式的矩阵。

矩阵谱分解谱分解（Spectraldecomposition）是将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法

将矩阵A分解为单位下三角阵L和上三角阵U，就是找出L的元素lij以及U的元素uij与A的元素aij的关系式。下面说明矩阵L，U的元素可以通过n步由矩阵A的元素计算出来，其中第k步求出U的第k行和L的第k列元素。根据式（4－1）中，由矩阵乘法可知：（1）由L的第1行和U的第j列元素对应相乘后与A的对应元素相等，即a1j＝u1j同理可知U的第1行元素：u1j＝a1j （j＝1，2，…，n）由L的第i行和U的第1列元素对应相乘后与A的对应元素相等，即ai1＝li1·u11从而得到L的第一列元素li1＝ai1/u11 （i＝2，3，…，n）这样就确定了U的第1行元素及L的第1列元素。类似地，用矩阵乘法再确定U的第2行及L的第2列，如此继续。假设已经得出了U的前k－1行及L的前k－1列（1≤k≤n）的全部元素，现在来确定U的第k行元素和L的第k列元素。（2）在式（4－1）中，由矩阵乘法知地球物理数据处理基础注意，由于L是单位下三角阵，当r>k时，lkr＝0，而lkk＝1，所以地球物理数据处理基础从而有地球物理数据处理基础如此即可得到上三角矩阵U的第k行元素。同理，可确定L的第k列元素。由 并且当r>k时，urk＝0，则有地球物理数据处理基础从而有地球物理数据处理基础即可计算出矩阵L的第k列元素。上述步骤进行，就可以定出L及U的全部元素，完成矩阵A的LU分解，即对k＝1，2，…，n，计算A＝LU分解的公式为地球物理数据处理基础这里约定 上述这种矩阵A的LU分解计算顺序也可按图4－1所示逐步进行。由于以上计算公式（4－7）中不含消去法的中间结果a（k）ij，可直接逐框计算，所以称为紧凑格式。从计算过程中可以看出，对A进行LU分解时，在求出u1j（j＝1，2，…，n）后不再需要a1j（j＝1，2，…，n），求出li1（i＝2，3，…，n）后不再需要ai1（i＝2，3，…，n）。同样求出ukj和lik后不再需要akj和aik（j＝k，k＋1，…，n；i＝k＋1，k＋2，…，n；k＝1，2，…，n），因此，在计算过程中可以不另设存放L和U的数组，而是将ukj和lik算出后直接存入矩阵A对应元素akj和aik的存贮单元中。这也称为动态算法，它可节省大量内存。图4－1 矩阵LU分解顺序图对A进行LU分解后，可按式（4－5）和式（4－6）求解线性方程组。同样，求解线性方程组时，由式（4－5）和式（4－6）式可知，在求yi（i＝1，2，…，n）时，只用到对应的bi（i＝1，2，…，n），故可不另设存放y的数组，而将y的元素存入列向量b对应元素bi的存贮单元中。但应注意，这时的b已变成y。同理求x时，也不用另设存放单元，计算结果直接存入b中，因而在求解线性方程组的最后结果中，b存储的是x。另外，由于求yi的顺代公式（4－5）与求ukj的公式（4－7）形式完全相同，故可合并到k循环之内进行，这样可以简化程序结构。所以，在进行LU分解的同时，Ly＝b的求解也完成了。［例1］用直接三角分解法求解线性方程组 解：（1）分解A＝LU，地球物理数据处理基础即地球物理数据处理基础（2）求解Ly＝b，地球物理数据处理基础得到y＝（3，－5，6）T（3）求解 得到x＝（2，－2，1）T

matlab里运行： a=[1 2 3 4;5 6 7 8;9 10 11 12;2 4 6 7.99999];[u,s,v]=svds(a)得到结果：u = 0.19309325290913 -0.39372991088164 0.80064042247500 -0.40824829032397 0.47876392522628 0.03942520140203 0.32025628954945 0.81649658098368 0.76443459754343 0.47258031368569 -0.16012784453451 -0.40824829049184 0.38618628362685 -0.78745809913181 -0.48038515432194 -0.00000000008393s = 27.55065585030689 0 0 0 0 3.31077063809069 0 0 0 0 0.00000263117785 0 0 0 0 0.00000000000000v = 0.37164983947455 0.74958461105215 0.36514742344847 -0.40824829050286 0.45181723566769 0.30961435841708 -0.18257455406715 0.81649658094722 0.53198463186084 -0.13035589421799 -0.73029653281457 -0.40824829038587 0.61215188788081 -0.57032376837933 0.54772334743922 -0.00000000005849这个命令的主要作用是得到A的奇异值，A"表示A的转置矩阵，A"*A的n个非负特征值的平方根叫作矩阵A的奇异值！

线性代数中，我们所说的矩阵的特征分解，即为：然而，要满足特征分解，矩阵必须为方阵，否则无法直接求解特征值。 对于一般矩阵，我们如果也要对其进行分解成3个矩阵乘积 ，其中 为 的矩阵， 为 的方阵， 为 的矩阵， 为 的矩阵。 矩阵如何分解呢？首先，它应该满足一个条件，它是方的！那么如何把矩阵变成方针呢？ 一个矩阵乘以它的转置即为方阵。 那么接下来的分解就是对与构造方阵的分解。还是特征分解的老步骤。这里，先提一下， 是半正定矩阵： 。由于 满足矩阵交换乘积，有 ，且 。 我们可以设 的特征值为 ，设 的特征值为 ，且不为0的特征值个数相等。因此，有矩阵半正定，特征值非负，可以开根号。特征值从右上角开始写，直到写到最后一个非零特征值。其余元素均为0。 刚才提及的是矩阵的奇异值分解的方法，现在我们初步看一下这个方法在降维中的应用。 令 ， 为矩阵对角线元素。 奇异值分解后的矩阵可以表示为：令特征值从大到小排列，意味着前面的较大的特征值保留了矩阵较为重要的特征，后面的较小的特征值保留了矩阵比较细节的特征。以图像的压缩为例子： 压缩钱图像矩阵为 ，意味着参数有 个，只取前 个特征值，参数有 。误差为： 。 也可以用作在神经网络的加速运算，之后提及。 下面是图片压缩的例子（转自知乎@DeepWeaver）

这个真不知道

矩阵分解的类型有好几种：秩一分解，满秩分解，QR分解，谱分解等，详见《高等代数解题精析》钱吉林

b=real(a);c=imag(a)*sqrt(-1);或c=a-b;

可以说是最简单的矩阵分解方法，将矩阵A分解成L（下三角）矩阵和U（上三角）矩阵的乘积。其实就是高斯消元法的体现，U矩阵就是利用高斯消元法得到的，而消元过程用到的初等变换矩阵乘积就是L矩阵。需要注意的是，L矩阵可以是置换过的矩阵，即一个下三角矩阵和一个置换矩阵的乘积（可以参考MATLAB中LU分解的函数lu）。

矩阵分析及其应用 　　收敛矩阵的概念．矩阵幂级数收敛的判定．常用矩阵函数值的计算．函数矩阵的导数．利用矩阵函数求解一阶线性常系数微分方程组． 矩阵分解 　　初等旋转阵与初等反射阵的概念．矩阵的QR分解．矩阵的Hermite标准形及等价标准形．矩阵的满秩分解．矩阵的奇异值分解．广义逆矩阵 　　投影矩阵的概念．矩阵的 {1}-逆、{1,2}-逆及Moore-Penrose逆计算．利用广义逆矩阵求解线性方程组． 　参考书目 　　1.程云鹏，张凯院，徐仲,《 矩阵论 》 （第二版） 西北工业大学出版社 1999 　　2.张凯院，徐仲,《 矩阵论同步学习辅导 》西北工业大学出版社 2002 　　3.徐仲，张凯院，陆全，冷国伟,《矩阵论简明教程》科学出版社 2001 　　4.张凯院，徐仲，陆全,《矩阵论典型题解析及自测试题》西北工业大学出版社 2001 　　5.徐仲，张凯院，陆全，冷国伟．《矩阵论简明教程附册》2002

矩阵分解是将一个矩阵分解为比较简单的或具有某种特性的若干矩阵的和或乘积 ，矩阵的分解法一般有三角分解，谱分解，奇异值分解，满秩分解等。 假设M是一个m×n阶矩阵，其中的元素全部属于域K，也就是实数域或复数域。如此则存在一个分解使得其中U是m×m阶酉矩阵；Σ是m×n阶实数对角矩阵；而V*，即V的共轭转置，是n×n阶酉矩阵。这样的分解就称作M的奇异值分解。Σ对角线上的元素Σi,i即为M的奇异值 。常见的做法是将奇异值由大而小排列。如此Σ便能由M唯一确定了。 一个正方的复值矩阵称为Hermitian矩阵，若A=AH即其元素,换言之Hermitian矩阵是一种复共轭对称矩阵 .对一个实值矩阵，Hermitian矩阵与对称矩阵等价。 Vandermonde矩阵（范德蒙矩阵）的命名来自Alexandre-Théophile Vandermonde的名字，范德蒙矩阵是一个各列呈现出几何级数关系的矩阵 。例如：或以第i行第j列的关系写作： Hadamard矩阵（阿达马矩阵）是一个方阵，每个元素都是 +1 或 −1，每行都是互相正交的。n阶的阿达马矩阵H满足：。这里In是n×n的单位矩阵 。

三角分解法是将原正方 (square) 矩阵分解成一个上三角形矩阵或是排列(permuted) 的上三角形矩阵和一个 下三角形矩阵，这样的分解法又称为LU分解法。它的用途主要在简化一个大矩阵的行列式值的计算过程，求逆矩阵，和求解联立方程组。不过要注意这种分解法所得到的上下三角形矩阵并非唯一，还可找到数个不同 的一对上下三角形矩阵，此两三角形矩阵相乘也会得到原矩阵。MATLAB以lu函数来执行lu分解法， 其语法为[L,U]=lu(A)。

矩阵实际上是一种线性变换。矩阵分解相当于原来的线性变换可以由两次（或多次）线性变换来表示。例如A=[1 1 1 α=(x 2 3 4 y 1 2 3] z)则Aα=(x+y+z 2x+3y+4z x+2y+3z)即矩阵实质上是一种线性变换算符。<二>A=[1 1 [1 0 -1 2 3 * 0 1 2] 1 2] 这里以及下面为了表示方便，引入符号*表示矩阵乘法，遵循矩阵乘法规则。则Aα=[1 1 [1 0 -1 (x 2 3 * 0 1 2] * y 1 2] z) =[1 1 (x-z 2 3 * y+2z) 1 2] =(x+y+z 2x+3y+4z x+2y+3z)即矩阵分解实质上是将原来的线性变换等效为两次线性变换（或多次线性变换，如果分解后矩阵可以继续分解）

矩阵的LU分解源于线性方程组的高斯消元过程。                                                                      对于一个含有N个变量的N个线性方程组，总可以用高斯消去法，把左边的系数矩阵分解为一个单位下三角矩阵和一个上三角矩阵相乘的形式。这样，求解这个线性方程组就转化为求解两个三角矩阵的方程组。LU分解来自线性方程组求解，那么它的直接应用就是快速计算下面这样的矩阵乘法A^(-1)*B，这是矩阵方程 AX=B 的解A^(-1)*b，这是线性方程组 Ax=b 的解A^(-1),       这是矩阵方程AX=E的解，E是单位矩阵。另外，LU分解之后还可以直接计算方阵的行列式。

矩阵分解 (decomposition,factorization)是多半将矩阵拆解为数个三角形矩阵(triangular matrix).依使用目的的不同 ,可分为三种矩阵分解法：1)三角分解法 (Triangular Factorization),2)QR 分解法 (QR Factorization),3)奇异值分 解法 (Singular Value Decompostion).(1) 三角分解法三角分解法是将原正方 (square) 矩阵分解成一个上三角形矩阵 或是排列(permuted) 的上三角形矩阵 和一个 下三角形矩阵,这样的分解法又称为LU分解法.它的用途主要在简化一个大矩阵的行列式值的计算过程,求 反矩阵,和求解联立方程组.不过要注意这种分解法所得到的上下三角形矩阵并非唯一,还可找到数个不同 的一对上下三角形矩阵,此两三角形矩阵相乘也会得到原矩阵.我们举以下二个矩阵为例：利用三角分解法可将A和B二矩阵分别拆解为上下三角形矩阵注意B分解的矩阵得到的第一个矩阵[LB]是排列的下三角形矩阵,如果第二、三列互换,则此变成完全的下 三角形矩阵.以MATLAB函数计算上述的LU分解法,其语法为[L,U]=lu(A),其中L代表下三角形矩阵U代表上三角形矩阵.我们来看一个例子.>> A = [1 2 -1,-2 -5 3; -1 -3 0]; B=[1 3 2; -2 -6 1; 2 5 7];>> [L1,U1] = lu(A); [L2,U2] = lu(B);>> L1; U1L1 = % 注意这个矩阵L1和之前的[LA]不相同-0.5 1 01 0 00.5 1 1U1 = % 注意这个矩阵U1和之前的[UA]不相同-2 -5 30 -0.5 0.50 0 -2>> L2; U2L2 = % 注意这个矩阵L2和之前的[LB]不相同-0.5 0 11 0 0-1 1 0U2 = % 注意这个矩阵U2和之前的[UB]不相同-2 -6 10 -1 80 0 2.5(2) QR分解法QR分解法是将矩阵分解成一个正规正交矩阵与上三角形矩阵.正规正交矩阵Q满足条件,所以称为QR分解法与此正规正交矩阵的通用符号Q有关.MATLAB以qr函数来执行QR分解法,其语法为[Q,R]=qr(A),其中Q代表正规正交矩阵,而R代表上三角形矩 阵.此外,原矩阵A不必为正方矩阵；如果矩阵A大小为,则矩阵Q大小为,矩阵R大小为.(3) 奇异值分解法奇异值分解 (sigular value decomposition,SVD) 是另一种正交矩阵分解法；SVD是最可靠的分解法,但是它比QR 分解法要花上近十倍的计算时间.[U,S,V]=svd(A),其中U和V代表二个相互正交矩阵,而S代表一对角矩阵.和QR分解法相同者,原矩阵A不必为正方矩阵.使用SVD分解法的用途是解最小平方误差法和数据压缩.

Ax=B，改写成Ly=B，Ux=y的方程组。就相当于将A=LU分解成了两个矩阵。称为矩阵A的三角分解，或LU分解。如果L为单位下三角阵，则叫Doolittle分解，若U为单位上三角阵，则叫Crout分解。只要A的各顺序主子式不为零，则A可唯一分解成一个单位下三角阵L与一个上三角阵U的乘积。•设Ax=b，A=LU，则Ax=LUx=b于是令Ux=y，则Ly=b这样原来方程能化为两个简单方程组在线性代数中， LU分解(LU Decomposition)是矩阵分解的一种，可以将一个矩阵分解为一个单位下三角矩阵和一个上三角矩阵的乘积（有时是它们和一个置换矩阵的乘积）。LU分解主要应用在数值分析中，用来解线性方程、求反矩阵或计算行列式。扩展资料：相关算法：LU分解在本质上是高斯消元法的一种表达形式。实质上是将A通过初等行变换变成一个上三角矩阵，其变换矩阵就是一个单位下三角矩阵。这正是所谓的杜尔里特算法：从下至上地对矩阵A做初等行变换，将对角线左下方的元素变成零，然后再证明这些行变换的效果等同于左乘一系列单位下三角矩阵，这一系列单位下三角矩阵的乘积的逆就是L矩阵，它也是一个单位下三角矩阵。这类算法的复杂度一般在(三分之二的n三次方) 左右。参考资料：百度百科-lu分解

b能被a整除

Ax=B，改写成Ly=B，Ux=y的方程组。就相当于将A=LU分解成了两个矩阵。称为矩阵A的三角分解，或LU分解。如果L为单位下三角阵，则叫Doolittle分解，若U为单位上三角阵，则叫Crout分解。只要A的各顺序主子式不为零，则A可唯一分解成一个单位下三角阵L与一个上三角阵U的乘积。•设Ax=b，A=LU，则Ax=LUx=b于是令Ux=y，则Ly=b这样原来方程能化为两个简单方程组在线性代数中， LU分解(LU Decomposition)是矩阵分解的一种，可以将一个矩阵分解为一个单位下三角矩阵和一个上三角矩阵的乘积（有时是它们和一个置换矩阵的乘积）。LU分解主要应用在数值分析中，用来解线性方程、求反矩阵或计算行列式。扩展资料：相关算法：LU分解在本质上是高斯消元法的一种表达形式。实质上是将A通过初等行变换变成一个上三角矩阵，其变换矩阵就是一个单位下三角矩阵。这正是所谓的杜尔里特算法：从下至上地对矩阵A做初等行变换，将对角线左下方的元素变成零，然后再证明这些行变换的效果等同于左乘一系列单位下三角矩阵，这一系列单位下三角矩阵的乘积的逆就是L矩阵，它也是一个单位下三角矩阵。这类算法的复杂度一般在(三分之二的n三次方) 左右。参考资料：百度百科-lu分解

矩阵分解 (decomposition, factorization)是多半将矩阵拆解为数个三角形矩阵(triangular matrix)。 依使用目的的不同 ，可分为三种矩阵分解法：1)三角分解法 (Triangular Factorization)，2)QR 分解法 (QR Factorization)，3)奇异值分 解法 (Singular Value Decompostion)。(1) 三角分解法三角分解法是将原正方 (square) 矩阵分解成一个上三角形矩阵 或是排列(permuted) 的上三角形矩阵 和一个 下三角形矩阵，这样的分解法又称为LU分解法。它的用途主要在简化一个大矩阵的行列式值的计算过程，求 反矩阵，和求解联立方程组。不过要注意这种分解法所得到的上下三角形矩阵并非唯一，还可找到数个不同 的一对上下三角形矩阵，此两三角形矩阵相乘也会得到原矩阵。我们举以下二个矩阵为例：利用三角分解法可将A和B二矩阵分别拆解为上下三角形矩阵注意B分解的矩阵得到的第一个矩阵[LB]是排列的下三角形矩阵，如果第二、三列互换，则此变成完全的下 三角形矩阵。以MATLAB函数计算上述的LU分解法，其语法为[L,U]=lu(A)，其中L代表下三角形矩阵U代表上三角形矩阵。 我们来看一个例子。>> A = [1 2 -1, -2 -5 3; -1 -3 0]; B=[1 3 2; -2 -6 1; 2 5 7];>> [L1,U1] = lu(A); [L2,U2] = lu(B);>> L1; U1L1 = % 注意这个矩阵L1和之前的[LA]不相同-0.5 1 01 0 00.5 1 1U1 = % 注意这个矩阵U1和之前的[UA]不相同-2 -5 30 -0.5 0.50 0 -2>> L2; U2L2 = % 注意这个矩阵L2和之前的[LB]不相同-0.5 0 11 0 0-1 1 0U2 = % 注意这个矩阵U2和之前的[UB]不相同-2 -6 10 -1 80 0 2.5(2) QR分解法QR分解法是将矩阵分解成一个正规正交矩阵与上三角形矩阵。正规正交矩阵Q满足条件，所以称为QR分解法与此正规正交矩阵的通用符号Q有关。MATLAB以qr函数来执行QR分解法， 其语法为[Q,R]=qr(A)，其中Q代表正规正交矩阵，而R代表上三角形矩 阵。此外，原矩阵A不必为正方矩阵；如果矩阵A大小为，则矩阵Q大小为，矩阵R大小为。(3) 奇异值分解法奇异值分解 (sigular value decomposition,SVD) 是另一种正交矩阵分解法；SVD是最可靠的分解法，但是它比QR 分解法要花上近十倍的计算时间。[U,S,V]=svd(A)，其中U和V代表二个相互正交矩阵，而S代表一对角矩阵。 和QR分解法相同者， 原矩阵A不必为正方矩阵。使用SVD分解法的用途是解最小平方误差法和数据压缩。

A~B 表示两矩阵相似

矩阵分解 (decomposition, factorization)是多半将矩阵拆解为数个三角形矩阵(triangular matrix)。 依使用目的的不同 ，可分为三种矩阵分解法：1)三角分解法 (Triangular Factorization)，2)QR 分解法 (QR Factorization)，3)奇异值分 解法 (Singular Value Decompostion)。(1) 三角分解法三角分解法是将原正方 (square) 矩阵分解成一个上三角形矩阵 或是排列(permuted) 的上三角形矩阵 和一个 下三角形矩阵，这样的分解法又称为LU分解法。它的用途主要在简化一个大矩阵的行列式值的计算过程，求 反矩阵，和求解联立方程组。不过要注意这种分解法所得到的上下三角形矩阵并非唯一，还可找到数个不同 的一对上下三角形矩阵，此两三角形矩阵相乘也会得到原矩阵。我们举以下二个矩阵为例：利用三角分解法可将A和B二矩阵分别拆解为上下三角形矩阵注意B分解的矩阵得到的第一个矩阵[LB]是排列的下三角形矩阵，如果第二、三列互换，则此变成完全的下 三角形矩阵。以MATLAB函数计算上述的LU分解法，其语法为[L,U]=lu(A)，其中L代表下三角形矩阵U代表上三角形矩阵。 我们来看一个例子。>> A = [1 2 -1, -2 -5 3; -1 -3 0]; B=[1 3 2; -2 -6 1; 2 5 7];>> [L1,U1] = lu(A); [L2,U2] = lu(B);>> L1; U1L1 = % 注意这个矩阵L1和之前的[LA]不相同-0.5 1 01 0 00.5 1 1U1 = % 注意这个矩阵U1和之前的[UA]不相同-2 -5 30 -0.5 0.50 0 -2>> L2; U2L2 = % 注意这个矩阵L2和之前的[LB]不相同-0.5 0 11 0 0-1 1 0U2 = % 注意这个矩阵U2和之前的[UB]不相同-2 -6 10 -1 80 0 2.5(2) QR分解法QR分解法是将矩阵分解成一个正规正交矩阵与上三角形矩阵。正规正交矩阵Q满足条件，所以称为QR分解法与此正规正交矩阵的通用符号Q有关。MATLAB以qr函数来执行QR分解法， 其语法为[Q,R]=qr(A)，其中Q代表正规正交矩阵，而R代表上三角形矩 阵。此外，原矩阵A不必为正方矩阵；如果矩阵A大小为，则矩阵Q大小为，矩阵R大小为。(3) 奇异值分解法奇异值分解 (sigular value decomposition,SVD) 是另一种正交矩阵分解法；SVD是最可靠的分解法，但是它比QR 分解法要花上近十倍的计算时间。[U,S,V]=svd(A)，其中U和V代表二个相互正交矩阵，而S代表一对角矩阵。 和QR分解法相同者， 原矩阵A不必为正方矩阵。使用SVD分解法的用途是解最小平方误差法和数据压缩。

对矩阵作如下变换：1、位置变换：把矩阵第i行与第j行交换位置，记作：r(i)<-->r(j)；2、倍法变换：把矩阵第i行的各元素同乘以一个不等于0的数k，记作：k*r(i)；3、消法变换：把矩阵第j行各元素同乘以数k，加到第i行的对应元素上去，记作：r(i)+k*r(j)，这条需要特别注意，变的是第i行元素，第j行元素没有变；对矩阵作上述三种变换，称为矩阵的行初等变换。把上面的“行”换成“列”，就称为矩阵的列初等变换，列初等变换分别用记号c(i)<-->c(j)；k*c(i)；c(i)+k*c(j)表示。行初等变换、列初等变换统称矩阵的初等变换。

奇异值 奇异值矩阵 奇异值矩阵分解 奇异值分解是线性代数中一种重要的矩阵分解，在信号处理、统计学等领域有重要应用。 定义：设A为m*n阶矩阵，的n个特征值的非负平方根叫作A的奇异值。 记为。 (A)，则HA)^(1/2)。 定理:（奇异值分解）设A为m*n阶复矩阵，则存在m阶酉阵U和n阶酉阵V，使得: A = U*S*V" 其中S=diag(σi,σ2,……,σr)，σi>0 (i=1,…,r)，r=rank(A)。 推论：设A为m*n阶实矩阵，则存在m阶正交阵U和n阶正交阵V，使得 A = U*S*V" 其中S=diag(σi,σ2,……,σr)，σi>0 (i=1,…,r)，r=rank(A)。 说明： 1、奇异值分解非常有用，对于矩阵A(m*n)，存在U(m*m)，V(n*n)，S(m*n)，满足A = U*S*V"。 U和V中分别是A的奇异向量，而S是A的奇异值。 AA"的正交单位特征向量组成U，特征值组成S"S，A"A的正交单位特征向量组成V，特征值（与AA"相同）组成SS"。 因此，奇异值分解和特征值问题紧密联系。 2、奇异值分解提供了一些关于A的信息，例如非零奇异值的数目（S的阶数）和A的秩相同，一旦秩r确定，那么U的前r列构成了A的列向量空间的正交基。 关于奇异值分解中当考虑的对象是实矩阵时: S对角元的平方恰为A"A特征值的说明. (对复矩阵类似可得) 从上面我们知道矩阵的奇异值分解为: A=USV, 其中U,V是正交阵(所谓B为正交阵是指B"=B-1, 即B"B=I), S为对角阵. A"A=V"S"U"USV=V"S"SV=V-1S2V 上式中, 一方面因为S是对角阵, S"S=S2, 且S2对角元就是S的对角元的平方. 另一方面注意到A"A是相似与S2的, 因此与S2有相同特征值. 注：下面的符号和上面的有差异，注意区分 SVD步骤： 1、求AHA或AAH 2、求AHA或AAH的特征值及特征向量x1,x2,...xr， r个特征值组成 3、 U=(x1,x2,...xr)地 4、V1=AU1Δr-1，取V2与其正交，则V=(V1，V2) 则n阶复方阵U的n个列向量是U空间的一个标准正交基,则U是U距阵. 一个简单的充分必要判别准则是 方阵U的转置共扼距阵乘以U 等于单位阵,则U是U距阵 正交向量组的性质 定义1 Euclid空间V的一组两两正交的非零向量叫做V的一个正交向量组． 若正交向量组的每一个向量都是单位向量，这个正交组就叫做一个标准正交向量组． 设V是一个n维Euclid空间．若V中n个向量α1，α2，…，αn构成一个正交组，则由定理9.2.1知道这n个向量构成V的一个基．这样的一个基叫做V的一个正交基．若V的一个正交基还是一个标准正交向量组，则称这个基是V的一个标准正交基．