本文目录

1. 引言

2. 机器学习ML和深度学习NN中的线性代数

3. 矩阵

4. 向量

5. 矩阵乘法

6. 转置矩阵

7. 逆矩阵

8. 正交矩阵

9. 对角矩阵

10. 正规方程的转置矩阵和逆矩阵

11. 线性方程

12. 向量范数

13. L1范数/Manhattan范数

14. L2范数/Euclidean范数

15. ML中的正则化

16. Lasso

17. 岭

18. 特征选择与抽取

19. 协方差矩阵

20. 特征值与特征向量

21. 正交性

22. 正交集

23. 扩张空间

24. 基

25. 主成分分析(PCA)

26. 矩阵分解

27. 总结

引言

机器学习和深度学习建立在数学原理和概念之上，因此AI学习者需要了解基本数学原理。在模型构建过程中，我们经常设计各种概念，例如维数灾难、正则化、二进制、多分类、有序回归等。

神经元是深度学习的基本单位，该结构完全基于数学概念，即输入和权重的乘积和。至于Sigmoid，ReLU等等激活函数也依赖于数学原理。

正确理解机器学习和深度学习的概念，掌握以下这些数学领域至关重要：

• 线性代数

• 微积分

• 矩阵分解

• 概率论

• 解析几何

机器学习和深度学习中的线性代数

在机器学习中，很多情况下需要向量化处理，为此，掌握线性代数的知识至关重要。对于机器学习中典型的分类或回归问题，通过最小化实际值与预测值差异进行处理，该过程就用到线性代数。通过线性代数可以处理大量数据，可以这么说，“线性代数是数据科学的基本数学。”

在机器学习和深度学习中，我们涉及到线性代数的这些知识：

• 向量与矩阵

• 线性方程组

• 向量空间

• 偏差

通过线性代数，我们可以实现以下机器学习或深度学习方法：

• 推导回归方程

• 通过线性方程预测目标值

• 支持向量机SVM

• 降维

• 均方差或损失函数

• 正则化

• 协方差矩阵

• 卷积

矢量积

矩阵

矩阵是线性代数的重要概念。一个m*n矩阵包含mn个元素，可用于线性方程组或线性映射的计算，也可将其视为一个由m*n个实值元素组成的元组。

矩阵表示

向量

在线性代数中，向量是大小为n*1的矩阵，即只有一列。

矩阵表示

矩阵乘法

矩阵乘法是行和列的点积，其中一个矩阵的行与另一个矩阵列相乘并求和。

矩阵乘法

矩阵乘法在线性回归中的应用

通过多种特征可以预测房屋价格。下表展示了不同房屋的特征及其价格。

不同房屋的特征及其价格

特征变量与目标变量

令：

特征及其系数

房价预测函数

转置矩阵

对于矩阵A∈R^m*n，有矩阵B∈R^n*m满足b_ij = a_ij，称为A的转置，即B=A^T。

A的转置

逆矩阵

对n阶矩阵A，有矩阵B∈R^n*n满足AB =I_n（单位矩阵）= BA的性质，称B为A的逆，表示为A^-1。