本期继续连载总结机器学习的数学基础，包括矩阵的逆、矩阵分解、矩阵的导数等。关于矩阵论的内容本期将介绍完毕，下期会介绍概率论的内容。《机器学习基础知识手册》总结了更多的问题，欢迎访问github地址：
https://github.com/5663015/machine-learning-handbook

矩阵的逆

定义：只要一个矩阵的行列式不为零，那么它对应的逆矩阵就存在，并且满足：

伴随矩阵：矩阵的伴随矩阵记为，它的第行第列元素为矩阵第行第列的余子式，即：

逆的计算：

伪逆：如果不是方阵，或者的列向量不是线性无关的，则不存在，我们通常用伪逆矩阵来代替。如果非奇异（即），则伪逆矩阵定义为：

逆的性质：

矩阵分解

特征分解：我们通过求解线性方程组来得到特征值对应的特征向量。将这些特征向量连成一个矩阵，使得每一列是一个特征向量：，再将特征值连成一个向量：为对角矩阵，对角线元素为的奇异值

的非零奇异值为的非零特征值的平方根

QR分解：一个矩阵，可以被分解为，其中：

是正交矩阵

是上三角矩阵

矩阵的导数

取标量值的函数的导数：设是一个取标量值得函数，有M个自变量，用向量表示。则函数关于自变量的梯度为：

取值为向量的函数的导数：设是一个值为N维向量的向量函数，其自变量为M维向量，则关于自变量的梯度为：

称矩阵为雅克比矩阵。

对于M维向量，和函数，则关于的二阶偏导数为：

称为函数的Hessian矩阵。

矩阵关于标量参数的导数：设矩阵的每个元素都是关于某个标量参数的函数，则此矩阵关于参数的导数为：

常用公式：

#普知成长计划##求职##机器学习#

往期回顾：
机器学习面试题精选连载（1）——模型基础
机器学习面试题精选连载（2）——微积分与线性代数

肥仔教程网

SEO 优化与 Web 开发技术学习分享平台

机器学习面试题精选连载(3)——线性代数

矩阵的逆

矩阵分解

矩阵的导数