机器学习复习

题型概览

Info: 考试题型 单项选择、简答、计算、证明题、分析画图题

一、往年题型总结

1. 选择题高频点

往年选择题反复出现这些内容：

Note: 往年考情 2018 和 2022 的回忆版里高度重复，比如 2022 选择题明确出现了 KL 散度、SVM 间隔、马尔可夫随机场、Boosting/Bagging、有向图概率表达式、F1 计算等。2022 缓考也考了交叉熵、SVM 软间隔、核函数判断、F2 度量、采样概念等。

2. 简答题高频点

简答题基本集中在下面几类：

Note: 往年考情 2018 的简答题里就有过拟合/欠拟合/模型容量、泛化、集成学习、AdaBoost、条件概率计算、概率图模型、CNN 计算、LSTM 图、采样与拒绝采样等。2022 缓考也继续考 AdaBoost、Fisher 判别、逻辑回归、CNN+LSTM 流程、概率图模型和采样。

3. 证明题高频点

证明题不是特别杂，重点很集中：

Note: 往年考情 2018 明确出现了”证明 KL 散度 ≥ 0、JS 散度对称性、核函数性质”。2022 回忆版也出现了前向算法证明和核函数证明。

二、各章复习优先级

Tip: 分级依据 按”往年出现频率 + 课件重点 + 可考计算/证明空间”给你分级。

第一梯队：必须重点复习，最可能出大题

C02 机器学习基础与概念

这是考试地基。课件内容包括矩阵与优化、概率与信息、机器学习基本概念。

重点掌握：

Important: 提示 这一章一定要能写出标准答案，因为它几乎贯穿所有题型。

C03 线性模型

课件把线性模型分为线性回归模型和线性分类模型。

重点掌握：

Note: 往年考情 2022 缓考明确考了 Fisher 判别和逻辑回归最大似然目标函数。

C04 SVM 与核方法

课件从线性分类器回顾开始，讲了决策边界、几何距离、最大间隔、软间隔和核方法。

重点掌握：

Tip: 高频考点 往年题很喜欢考：松弛变量作用 = 允许分错样本或允许样本落入间隔内。2018 里也明确提到”引入松弛变量的作用”。

C05 贝叶斯分类与概率图模型

这一章是大题重灾区。课件内容包括贝叶斯决策、贝叶斯分类、有向图/无向图、马尔可夫随机场、隐马尔可夫模型等。

重点掌握：

Note: 往年考情 往年多次考”给图写联合概率表达式""根据概率画图""根据表格算条件概率”。2018 和 2022 都有。

C06 集成学习

课件内容是个体与集成、Boosting、Bagging 与随机森林。

重点掌握：

Important: 必背 AdaBoost 在 2018 和 2022 缓考都出现了，属于”背熟就拿分”的题。

C09/C10 神经网络、CNN、RNN、反向传播

这些章虽然偏后，但往年大题非常爱考计算和画图。

• C09 前馈神经网络课件强调神经网络由结构、激励函数、学习规则三部分组成。
• C09 CNN 课件强调 CNN 用于解决全连接网络参数量巨大、不满足局部不变性等问题。
• C09 RNN 课件强调 RNN 处理序列数据，引入循环连接，使当前计算依赖当前输入和前一时刻状态。
• C10 课件明确包括神经网络优化算法、反向传播算法和规范化技术。

重点掌握：

Note: 课件要点 RNN 课件给出 Elman 网络公式：隐藏状态由上一时刻隐藏状态和当前输入共同决定，输出由隐藏状态决定。C10 课件也把训练过程概括为训练数据、损失函数、训练优化、模型参数四个环节。

第二梯队：高概率选择题/简答题，适合中后期补强

C07 无监督学习与聚类

课件内容包括基本概念、K 均值聚类、密度聚类、层次聚类。

重点掌握：

Note: 往年考情 2022 选择题出现”几种聚类的基本概念”。所以这一章不一定出大题，但选择题很可能有。

C08 采样方法

课件从”求不规则图形面积”引入采样，又讲用样本近似期望。

重点掌握：

Tip: 高性价比章节 2018 题里直接考”采样是什么、蒙特卡罗是什么、逆变换采样、拒绝采样过程”。这章是性价比很高的拿分章。

C11 深度注意力模型

课件内容包括注意力简介、Transformer 模型、视觉 Transformer。

重点掌握：

Note: 往年考情 这章如果考试偏新内容，可能会考选择题或简答题。但从往年看，不如 CNN/LSTM/概率图模型高频。

C12 生成式模型

课件内容包括生成式模型简介、自编码器、GAN、扩散模型。

重点掌握：

Note: 复习建议 这章更像扩展内容，目前往年题里不算高频。考前时间不够的话，先掌握概念。

第三梯队：了解即可，但选择题可能蹭到

C01 人工智能与机器学习引论

课件主要是课程背景、AI/ML/DL 关系、课程目标、发展历史和典型应用。

重点掌握：

Note: 往年考情 2018 和 2022 都提到第一章历史、任务、机器学习概念，所以不能完全不看，但别花太多时间。

三、按考试分值导向的复习顺序

Tip: 复习策略 不要按课件顺序死磕，按”最可能拿分”来复习。

第一轮：先拿稳定分

1. C02 基础概念：过拟合、欠拟合、泛化、正则化、K 折、KL/JS/交叉熵
2. C05 贝叶斯与概率图模型：概率计算、画图、写联合分布
3. C06 集成学习：Bagging/Boosting/随机森林/AdaBoost
4. C08 采样：蒙特卡罗、逆变换、拒绝采样
5. C09 CNN/RNN/LSTM：卷积池化计算、LSTM 图

这几章覆盖了大部分简答和计算题。

第二轮：补证明和公式

1. KL 散度非负性
2. JS 散度对称性
3. 核函数闭包性质
4. SVM 间隔与软间隔
5. 逻辑回归最大似然
6. Fisher 判别目标函数
7. HMM 前向算法

这些是证明题和公式题核心。

第三轮：补选择题碎片

1. AI/ML 历史
2. 聚类概念
3. Transformer 三大关键技术
4. 生成式模型概念
5. 评价指标：Precision、Recall、F1、F2、ROC、PR

四、最值得背的”简答题模板”

1. 过拟合、欠拟合、模型容量

过拟合：模型在训练集上误差很小，但在测试集上误差较大，说明模型学习到了训练数据中的噪声或偶然规律，泛化能力差。

欠拟合：模型在训练集和测试集上误差都较大，说明模型容量不足，无法刻画数据中的基本规律。

模型容量：模型拟合复杂函数的能力。容量过低容易欠拟合，容量过高容易过拟合。

缓解过拟合方法：增加数据、数据增强、正则化、交叉验证、早停、Dropout、降低模型复杂度。

2. Bagging 与 Boosting 区别

Bagging：通过自助采样生成多个训练子集，并行训练多个基学习器，最后投票或平均。主要降低方差，代表方法是随机森林。

Boosting：串行训练多个基学习器，后一个学习器重点关注前面错分样本，最后加权组合。主要降低偏差，代表方法是 AdaBoost。

Tip: 一句话记忆 Bagging 并行降方差，Boosting 串行降偏差。

3. AdaBoost 算法流程

1. 初始化每个训练样本的权重相同。
2. 训练一个弱分类器。
3. 计算该分类器的错误率。
4. 根据错误率计算该分类器的权重，错误率越低，分类器权重越大。
5. 更新样本权重：错分样本权重增加，正确分类样本权重降低。
6. 重复训练多个弱分类器。
7. 最终分类器为多个弱分类器的加权投票结果。

4. 采样与蒙特卡罗方法

采样：从一个给定概率分布中生成服从该分布的样本。

蒙特卡罗方法：利用随机采样的方法，用样本均值近似期望或积分。若 $z^{(1)},...,z^{(L)}\sim p(z)$，则：

$E[f(z)]\approx \frac{1}{L}\sum_{l=1}^{L}f(z^{(l)})$

5. 拒绝采样步骤

1. 选择一个容易采样的建议分布 $q(z)$。
2. 找到常数 $k$，使得 $kq(z)\geq \tilde{p}(z)$。
3. 从 $q(z)$ 中采样得到 $z_0$。
4. 在 $[0,kq(z_0)]$ 上均匀采样得到 $u_0$。
5. 如果 $u_0\leq \tilde{p}(z_0)$，接受该样本；否则拒绝。
6. 重复直到获得足够样本。

6. 有向概率图模型联合分布

对于有向图，联合概率可以分解为每个节点在其父节点条件下的概率乘积：

$p(x_1,x_2,\dots,x_n)=\prod_i p(x_i \mid Pa(x_i))$

其中 $Pa(x_i)$ 表示节点 $x_i$ 的父节点集合。

Tip: 答题技巧 考试给图时，只要看每个点的箭头来自谁，然后逐个写 $p(当前节点 \mid 父节点)$，最后连乘。

7. LSTM 作用

普通 RNN 容易出现梯度消失，难以刻画长期依赖。LSTM 通过引入细胞状态和门控机制控制信息的保留、遗忘和输出，因此可以更好地处理长序列依赖问题。

三个门：

五、最高频计算题清单

Important: 必会计算 你一定要会做这些：

CNN 输出尺寸公式：

$H_{out}=\frac{H+2P-K}{S}+1$

$W_{out}=\frac{W+2P-K}{S}+1$

其中 $H,W$ 是输入高宽，$K$ 是卷积核大小，$P$ 是 padding，$S$ 是 stride。

F1：

$F_1=\frac{2PR}{P+R}$

F2：

$F_2=\frac{5PR}{4P+R}$

传统机器学习部分

Overview: 复习格式 好，我们就按章节开始复习。我会采用固定格式： 考频判断 → 本章重点 → 必背内容 → 常见题型 → 答题模板 → 易错点

第 1 章 人工智能与机器学习引论

这一章不是大题核心，但选择题很可能考，尤其是概念、历史、任务类型、AI/ML/DL 关系。2018、2022 回忆题里都出现了”机器学习概念、历史、基本任务”等内容。

一、考频判断

Info: 考频评级 低难度、高性价比、选择题高频、简答题低频。

也就是说，不太可能让你写一整道大题，但很容易在选择题里考：

• 什么是人工智能？
• 什么是机器学习？
• 机器学习解决什么问题？
• AI、机器学习、深度学习之间的关系
• 机器学习的基本任务
• 机器学习历史人物或标志性事件
• 分类、回归、聚类、转录等任务辨析

二、本章核心框架

这一章你可以按这条线记：

人工智能是什么 → 为什么需要机器学习 → 机器学习是什么 → 机器学习能做什么 → AI/ML/DL 是什么关系

三、必须掌握的概念

1. 什么是人工智能？

人工智能可以理解为：

研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统。

Example: 考试答法 人工智能是研究如何让机器表现出类似人类智能行为的理论、方法、技术和系统，包括感知、推理、学习、决策、规划和交互等能力。

2. 为什么需要机器学习？

传统程序设计是：人写规则 → 机器执行规则

机器学习是：给机器数据 → 机器从数据中学习规律

所以，机器学习适合解决这些问题：

• 规则很难人工写出来
• 数据量很大
• 环境不断变化
• 任务具有不确定性
• 需要模型自动改进

比如图像识别、语音识别、自然语言处理、推荐系统，很难靠人工写死规则完成。

3. 什么是机器学习？

Example: 标准答法 机器学习的核心是从数据中学习规律，并利用规律对未知样本进行预测、分类、决策或生成。

4. AI、机器学习、深度学习的关系

这个常考选择题。

$\text{人工智能 AI} \supset \text{机器学习 ML} \supset \text{深度学习 DL}$

• 人工智能是最大范围；
• 机器学习是实现人工智能的重要方法；
• 深度学习是机器学习中的一类方法，主要基于多层神经网络。

Example: 答题模板 人工智能是研究智能行为的总体领域；机器学习是人工智能的重要实现方法，强调从数据中自动学习规律；深度学习是机器学习的一个分支，利用多层神经网络自动学习特征和表示。

四、机器学习的基本任务

这一块很容易出选择题。2022 回忆题里就提到了”机器学习基本任务、转录、输入缺失分类”等。

1. 分类 Classification

输入样本，输出离散类别。

例子：

• 判断邮件是否垃圾邮件
• 判断图片中是猫还是狗
• 判断病人是否患病

输出是类别，比如 $y \in \{0,1\}$ 或 $y \in \{\text{猫}, \text{狗}, \text{鸟}\}$。

2. 回归 Regression

输入样本，输出连续数值。

例子：

• 预测房价
• 预测温度
• 预测股票收益率
• 预测考试成绩

输出是连续值，比如 $y \in \mathbb{R}$。

Tip: 一句话区分 分类输出类别，回归输出数值。

3. 聚类 Clustering

无监督学习任务，把没有标签的数据自动分成若干组。

例子：用户分群、文档聚类、图像区域划分。

注意：聚类没有真实标签，分类有标签。

4. 降维 Dimensionality Reduction

把高维数据映射到低维空间，同时尽量保留主要信息。

例子：PCA、t-SNE、特征压缩、可视化高维数据。

5. 密度估计 Density Estimation

学习数据的概率分布 $p(x)$，常和生成模型有关。

6. 生成 Generation

学习样本分布后生成新样本。

例子：生成图片、生成文本、生成语音、生成视频。

这个和第 12 章生成式模型会联系起来。

7. 转录 Transcription

这个往年选择题提到过。

转录任务是把一种形式的非结构化输入转换成符号序列。

例子：

• 语音识别：语音 → 文字
• OCR：图片中的文字 → 文本

Tip: 判断技巧 看到”语音转文字""图片文字识别”，优先想到转录任务。

8. 输入缺失补全 Missing Input Completion

给定部分缺失的输入，预测缺失部分。

例子：图像修复、推荐系统中补全用户评分、表格缺失值填补。

五、机器学习分类

1. 监督学习

训练数据有标签：$D=\{(x_i,y_i)\}_{i=1}^N$

典型任务：分类、回归。

例子：给很多猫狗图片，每张图片都有标签，让模型学习判断新图片是猫还是狗。

2. 无监督学习

训练数据没有标签：$D=\{x_i\}_{i=1}^N$

典型任务：聚类、降维、密度估计。

3. 半监督学习

少量数据有标签，大量数据无标签。适合标签昂贵的场景，比如医学图像标注。

4. 强化学习

智能体与环境交互，通过奖励信号学习策略。

核心概念：状态 state、动作 action、奖励 reward、策略 policy。

例子：游戏 AI、机器人控制、自动驾驶决策。

六、往年题可能怎么考？

题型 1：概念辨析

例：下面哪个任务属于回归？

A. 判断邮件是否垃圾邮件 B. 预测明天温度 C. 把用户分成 5 类 D. 识别图片中的文字

Answer: 答案 B。A 是分类；B 是回归；C 是聚类；D 是转录/OCR。

题型 2：AI/ML/DL 关系

例：下列说法正确的是？

A. 深度学习包含机器学习 B. 机器学习包含人工智能 C. 人工智能包含机器学习，机器学习包含深度学习 D. 深度学习和机器学习无关

Answer: 答案 C。

题型 3：监督学习/无监督学习辨析

例：K-means 属于哪类学习？

Answer: 答案 无监督学习。因为 K-means 使用没有标签的数据，根据样本相似度自动分组。

题型 4：转录任务

例：语音识别属于哪类机器学习任务？

Answer: 答案 转录任务。因为它把语音信号转换成文字序列。

七、本章必背答题模板

模板 1：什么是机器学习？

机器学习是人工智能的重要分支，研究如何让计算机系统利用数据或经验自动改进性能。其核心思想是从训练数据中学习输入与输出之间的规律，并利用该规律对未知样本进行预测、分类、决策或生成。

模板 2：为什么需要机器学习？

许多人工智能任务中，人工设计规则十分困难，且数据具有复杂性、不确定性和动态变化特点。机器学习能够从数据中自动发现规律，减少人工规则设计，提高模型对未知样本的适应能力和泛化能力，因此成为实现人工智能的重要方法。

模板 3：AI、机器学习、深度学习的关系

人工智能是研究机器智能行为的总体领域；机器学习是人工智能的重要分支，强调从数据中学习规律；深度学习是机器学习的一个分支，主要利用多层神经网络自动学习数据的层次化表示。因此三者关系为：人工智能包含机器学习，机器学习包含深度学习。

模板 4：分类和回归的区别

分类和回归都是监督学习任务。分类任务的输出是离散类别，例如垃圾邮件识别、图像类别识别；回归任务的输出是连续数值，例如房价预测、温度预测。二者的主要区别在于输出变量的类型不同。

模板 5：监督学习和无监督学习的区别

监督学习使用带标签的训练数据，目标是学习输入到输出标签之间的映射关系，典型任务包括分类和回归。无监督学习使用无标签数据，目标是发现数据内部结构和分布规律，典型任务包括聚类、降维和密度估计。

八、本章易错点

易错点 1：分类和聚类混淆

• 分类：有标签。
• 聚类：无标签。

比如：已知图片标签是猫/狗，让模型学习分类 → 分类；没有标签，让模型自动把图片分组 → 聚类。

易错点 2：回归不是”曲线拟合”那么窄

回归的本质是预测连续值，不一定非要画曲线。

易错点 3：深度学习不是人工智能的全部

深度学习只是机器学习的一部分，机器学习也不是人工智能的全部。

易错点 4：转录任务不是分类

语音识别、OCR 不是简单分类，而是把输入转换成符号序列，所以叫转录。

九、本章复习优先级

十、本章考前速记

1. 机器学习是从数据中学习规律，并利用规律对未知样本进行预测或决策。
2. 分类输出离散类别，回归输出连续数值。
3. 监督学习有标签，无监督学习无标签。
4. 聚类是无监督学习，分类是监督学习。
5. AI 包含 ML，ML 包含 DL。
6. 转录任务是把输入信号转换成符号序列，如语音识别和 OCR。
7. 机器学习的价值在于自动从数据中学习复杂规律，减少人工规则设计。

第 2 章 机器学习基础与概念

这一章是考试核心章，比第 1 章重要很多。往年题里它几乎覆盖了所有题型：选择题、简答题、计算题、证明题都会考。

Note: 往年考情 2022 回忆版明确考了概率、期望、协方差、KL 散度、K 折交叉验证、模型容量、过拟合欠拟合曲线、正则化用途等。2022 缓考还考了交叉熵计算、概率期望计算、过拟合缓解方法、欠拟合和模型容量。2018 也考了 KL/JS 散度性质、最大似然估计、最大后验估计、过拟合、欠拟合、模型容量和泛化。

一、本章考频判断

Important: 考频评级 超高频、基础核心、选择题 + 简答题 + 证明题 + 计算题都可能考。

你要把这一章当成整门课的”地基”。后面的线性模型、SVM、贝叶斯、神经网络、采样，都会反复用到这一章的概念。

本章课件结构主要是三块：

1. 矩阵与优化
2. 概率与信息
3. 机器学习基本概念

二、第一部分：矩阵与优化

这一部分往年一般不会单独出大题，但会在公式理解、模型推导、选择题里出现。

1. 标量、向量、矩阵、张量

考试一般考概念辨析，不难。

2. 向量内积

两个向量：$x=(x_1,x_2,\dots,x_n)$，$y=(y_1,y_2,\dots,y_n)$

内积：$\langle x,y\rangle=x^Ty=\sum_{i=1}^n x_i y_i$

几何意义：$x^Ty=\lVert x \rVert\lVert y \rVert\cos\theta$，所以 $\cos\theta=\frac{x^Ty}{\lVert x \rVert\lVert y \rVert}$

常考理解：

• 内积越大，两个向量越相似；
• 内积为 0，两个向量正交；
• 余弦相似度本质上就是归一化内积。

3. 范数 Norm

范数用于衡量向量大小。

一般 $L_p$ 范数：$\lVert x \rVert_p=\left(\sum_i |x_i|^p\right)^{1/p}$

常见范数：

和正则化的关系：

• $L_1$ 正则：容易产生稀疏解；
• $L_2$ 正则：限制参数过大，使模型更平滑。

4. 梯度下降

虽然 C10 还会详细讲神经网络优化，但第 2 章也要先掌握基本思想。

目标：$\theta^*=\arg\min_{\theta}L(\theta)$

梯度下降更新：$\theta \leftarrow \theta-\eta \nabla L(\theta)$

其中：

• $\eta$：学习率；
• $\nabla L(\theta)$：梯度；
• 负梯度方向是函数下降最快方向。

Warning: 易错点 学习率太大：可能震荡甚至发散。学习率太小：收敛很慢。

三、第二部分：概率与信息

这是本章最重要的部分之一，选择题、计算题、证明题都爱考。

1. 条件概率

$p(x \mid y)=\frac{p(x,y)}{p(y)}$

由此得到乘法公式：$p(x,y)=p(x \mid y)p(y)$，也可以写成 $p(x,y)=p(y \mid x)p(x)$。

2. 全概率公式

若 $\{y_i\}$ 构成完备事件组，则：

$p(x)=\sum_i p(x \mid y_i)p(y_i)$

连续情形：$p(x)=\int p(x \mid y)p(y)dy$

3. 贝叶斯公式

$p(y \mid x)=\frac{p(x \mid y)p(y)}{p(x)}$

其中：

贝叶斯分类里常用：$y^*=\arg\max_y p(y \mid x)$

因为 $p(x)$ 对所有类别相同，所以 $y^*=\arg\max_y p(x \mid y)p(y)$。

4. 期望

离散型：$E[X]=\sum_x x p(x)$

连续型：$E[X]=\int x p(x)dx$

函数的期望：$E[f(X)]=\sum_x f(x)p(x)$ 或 $E[f(X)]=\int f(x)p(x)dx$

期望线性性质（证明题可能考）

$E[af(x)+b]=aE[f(x)]+b$

证明：

$E[af(x)+b]=\int [af(x)+b]p(x)dx = a\int f(x)p(x)dx+b\int p(x)dx = aE[f(x)]+b$

因为 $\int p(x)dx=1$。

Note: 往年考情 2018 证明题就出现过这个性质。

5. 方差

$Var(X)=E[(X-E[X])^2]=E[X^2]-(E[X])^2$

方差衡量随机变量围绕均值的波动程度。

6. 协方差

$Cov(X,Y)=E[(X-E[X])(Y-E[Y])]=E[XY]-E[X]E[Y]$

判断关系：

• $Cov(X,Y)>0$：正相关；
• $Cov(X,Y)<0$：负相关；
• $Cov(X,Y)=0$：线性不相关。

Warning: 易错点 协方差为 0 不一定代表独立。

Note: 往年考情 2022 回忆版明确考过概率、期望、协方差。

四、信息熵、交叉熵、KL、JS

Important: 重中之重 这一块是本章最核心的考点。

1. 信息熵 Entropy

离散分布 $p(x)$ 的熵：$H(p)=-\sum_x p(x)\log p(x)$

连续情形：$H(p)=-\int p(x)\log p(x)dx$

含义：熵衡量随机变量的不确定性。

• 分布越均匀，不确定性越大，熵越大；
• 分布越集中，不确定性越小，熵越小。

2. 交叉熵 Cross Entropy

$H(p,q)=-\sum_x p(x)\log q(x)$

含义：用分布 $q$ 去拟合真实分布 $p$ 时的编码代价。

分类任务中常用交叉熵损失：

• 二分类：$L=-[y\log \hat y+(1-y)\log(1-\hat y)]$
• 多分类：$L=-\sum_i y_i\log \hat y_i$

如果 $y$ 是 one-hot 标签，那么交叉熵就是 $L=-\log(\text{正确类别的预测概率})$。

典型计算：真实类别是第 2 类，预测概率 $\hat y=(0.1,0.7,0.2)$，则交叉熵 $L=-\log 0.7$。

Note: 往年考情 2022 缓考明确出现了”交叉熵计算”。

3. KL 散度

$D_{KL}(p \Vert q)=\sum_x p(x)\log \frac{p(x)}{q(x)}$

连续情形：$D_{KL}(p \Vert q)=\int p(x)\log \frac{p(x)}{q(x)}dx$

也可以写成：$D_{KL}(p \Vert q)=H(p,q)-H(p)$

KL 散度性质：

KL 非负性证明模板

用 Gibbs 不等式：$-\log t \geq 1-t$

令 $t=\frac{q(x)}{p(x)}$，则 $\log\frac{p(x)}{q(x)}\geq 1-\frac{q(x)}{p(x)}$

两边乘以 $p(x)$ 并求和：

$D_{KL}(p \Vert q)=\sum_x p(x)\log\frac{p(x)}{q(x)}\geq \sum_x p(x)\left(1-\frac{q(x)}{p(x)}\right)=\sum_x p(x)-\sum_x q(x)=1-1=0$

所以 $D_{KL}(p \Vert q)\geq 0$。

Note: 往年考情 2018 和 2022 缓考都考过 KL 散度性质或证明。

4. JS 散度

JS 散度定义：

$D_{JS}(p \Vert q)=\frac{1}{2}D_{KL}(p \Vert m)+\frac{1}{2}D_{KL}(q \Vert m)$

其中 $m=\frac{1}{2}(p+q)$。

JS 散度性质：

JS 对称性证明模板

因为 $m=\frac{1}{2}(p+q)$，交换 $p,q$ 后 $m$ 不变。

$D_{JS}(q \Vert p)=\frac{1}{2}D_{KL}(q \Vert m)+\frac{1}{2}D_{KL}(p \Vert m)$

加法交换律可得 $D_{JS}(q \Vert p)=D_{JS}(p \Vert q)$，所以 JS 散度具有对称性。

Note: 往年考情 2018 题明确提到 KL 散度、JS 散度相关性质。

五、最大似然估计与最大后验估计

这一块也很容易出选择题和简答题。

1. 最大似然估计 MLE

给定数据集 $X=(x_1,x_2,\dots,x_m)$，假设样本独立同分布，模型为 $p(x;\theta)$。

似然函数：$p(X \mid \theta)=\prod_{i=1}^m p(x_i;\theta)$

最大似然估计：$\theta_{ML}=\arg\max_\theta p(X \mid \theta)$

通常取对数：$\theta_{ML}=\arg\max_\theta \sum_{i=1}^m \log p(x_i;\theta)$

也等价于最小化负对数似然：$\theta_{ML}=\arg\min_\theta -\sum_{i=1}^m \log p(x_i;\theta)$

直观理解：选择一组参数 $\theta$，让当前观测到的数据出现的概率最大。

2. 最大后验估计 MAP

最大后验估计考虑参数先验：$\theta_{MAP}=\arg\max_\theta p(\theta \mid X)$

由贝叶斯公式：$p(\theta \mid X)=\frac{p(X \mid \theta)p(\theta)}{p(X)}$

因为 $p(X)$ 与 $\theta$ 无关，所以 $\theta_{MAP}=\arg\max_\theta p(X \mid \theta)p(\theta)$

取对数：$\theta_{MAP}=\arg\max_\theta [\log p(X \mid \theta)+\log p(\theta)]$

MLE 与 MAP 区别：

Tip: 一句话记忆 MLE 只看数据，MAP = 数据似然 + 参数先验。

Note: 往年考情 2018 选择题提到最大似然估计、最大后验估计。

六、机器学习基本概念

这一部分是简答题高频区。

1. 数据集、样本、特征、标签

数据集：$D=\{(x_i,y_i)\}_{i=1}^N$

其中：$x_i$ 是输入/样本/特征向量；$y_i$ 是标签/目标输出；$N$ 是样本数。

• 监督学习：有 $y_i$。
• 无监督学习：没有 $y_i$。

2. 训练集、验证集、测试集

Warning: 易错点 测试集不能参与训练和调参。否则测试结果会偏乐观。

3. 经验误差与泛化误差

• 经验误差：模型在训练集上的误差。
• 泛化误差：模型在未知新样本上的期望误差。

Example: 考试答法 泛化能力是指模型在未见过的新样本上的预测能力。泛化误差越小，说明模型越能从训练数据中学到普遍规律，而不是只记住训练样本。

Note: 往年考情 2018 简答题直接考过”泛化意思”。

4. 模型容量

Example: 考试答法 模型容量是模型拟合复杂函数或复杂数据规律的能力。容量过低容易欠拟合，容量过高容易过拟合。

5. 过拟合

定义：模型在训练集上表现很好，但在测试集或新数据上表现较差。

原因：

• 模型容量过大
• 训练数据太少
• 数据噪声较多
• 训练时间过长
• 特征过多
• 正则化不足

表现：训练集误差很小，测试集误差较大。

缓解方法：

1. 增加训练数据
2. 数据增强
3. 降低模型复杂度
4. 正则化
5. Dropout
6. 早停 Early Stopping
7. 交叉验证
8. 特征选择
9. 集成学习

Note: 往年考情 2022 缓考问答题考了过拟合概念和缓解方法。

6. 欠拟合

定义：模型过于简单，不能很好地学习训练数据中的基本规律。

表现：训练集误差大，测试集误差也大。

原因：模型容量太低、特征表达能力不足、训练不充分、正则化过强。

解决方法：

1. 增加模型复杂度
2. 增加有效特征
3. 减小正则化强度
4. 训练更久
5. 换更强模型

Note: 往年考情 2018 和 2022 都考过过拟合、欠拟合、模型容量。

7. 过拟合、欠拟合、模型容量关系

Tip: 画图技巧 随模型容量增大，训练误差通常持续下降；测试误差通常先下降后上升；测试误差最低点附近是较好的模型复杂度。

8. 正则化

定义：正则化是在损失函数中加入约束项或惩罚项，限制模型复杂度，防止过拟合，提高泛化能力。

常见形式：$J(\theta)=L(\theta)+\lambda \Omega(\theta)$

其中：$L(\theta)$ 是原始损失；$\Omega(\theta)$ 是正则项；$\lambda$ 是正则化强度。

L2 正则：$J(\theta)=L(\theta)+\lambda\lVert \theta \rVert_2^2$，作用：惩罚过大的参数，使模型更平滑。

L1 正则：$J(\theta)=L(\theta)+\lambda\lVert \theta \rVert_1$，作用：产生稀疏解，可用于特征选择。

Example: 答题模板 正则化是在经验损失之外加入模型复杂度惩罚项，使模型不能过分依赖训练数据中的噪声，从而缓解过拟合并提高泛化能力。常见正则化包括 L1 正则和 L2 正则。

Note: 往年考情 2022 回忆题明确考了”什么是正则化，正则化用途”。

9. K 折交叉验证

流程：

1. 将数据集平均划分为 K 份；
2. 每次取其中 1 份作为验证集，其余 K-1 份作为训练集；
3. 重复 K 次，使每一份都做一次验证集；
4. 取 K 次验证结果的平均值作为模型性能估计。

优点：更充分利用数据；评估结果比单次划分更稳定；适合小数据集。

缺点：训练 K 次，计算成本高；若数据分布不均，划分不合理会影响结果。

Note: 往年考情 2022 回忆题明确出现”K 折交叉验证，优缺点”。

七、本章高频计算题

1. 交叉熵计算

如果真实标签 $y=(0,1,0)$，预测 $\hat y=(0.2,0.7,0.1)$

交叉熵：$L=-\sum_i y_i\log \hat y_i$

因为真实类别是第 2 类：$L=-\log 0.7$

2. KL 散度计算

给定 $p=(0.5,0.5)$，$q=(0.25,0.75)$

$D_{KL}(p \Vert q)=0.5\log\frac{0.5}{0.25}+0.5\log\frac{0.5}{0.75}=0.5\log 2+0.5\log\frac{2}{3}$

Warning: 易错点 注意不要写成 $D_{KL}(q \Vert p)$，KL 不对称。

3. 期望计算

给定随机变量 $X$：

$E[X]=1\times 0.2+2\times 0.5+3\times 0.3=2.1$

4. 方差计算

$Var(X)=E[X^2]-(E[X])^2$

先算：$E[X^2]=1^2\times0.2+2^2\times0.5+3^2\times0.3=0.2+2+2.7=4.9$

所以：$Var(X)=4.9-2.1^2=4.9-4.41=0.49$

八、本章简答题模板

模板 1：什么是过拟合？如何缓解？

过拟合是指模型在训练集上误差很小，但在测试集或未知数据上误差较大，说明模型学习到了训练数据中的噪声或偶然规律，泛化能力较差。缓解过拟合的方法包括增加训练数据、数据增强、降低模型复杂度、加入正则化、交叉验证、早停、Dropout 和特征选择等。

模板 2：什么是欠拟合？

欠拟合是指模型在训练集和测试集上误差都较大，说明模型容量不足，无法学习数据中的基本规律。解决欠拟合可以增加模型复杂度、增加有效特征、减弱正则化或延长训练时间。

模板 3：什么是模型容量？

模型容量是模型拟合复杂函数或复杂数据规律的能力。容量过低时模型表达能力不足，容易欠拟合；容量过高时模型可能记住训练集中的噪声和偶然规律，容易过拟合。因此需要选择合适的模型容量以获得较好的泛化能力。

模板 4：什么是泛化？

泛化是指模型对未见过的新样本的预测能力。一个模型不仅要在训练集上表现好，还要在测试集或真实环境中表现好。泛化能力强说明模型学习到了数据中的普遍规律，而不是仅仅记住训练样本。

模板 5：什么是正则化？

正则化是在损失函数中加入模型复杂度惩罚项，以限制模型参数规模或模型复杂度，从而减少过拟合并提高泛化能力。常见方法包括 L1 正则化和 L2 正则化。

模板 6：K 折交叉验证流程和优缺点

K 折交叉验证将数据集划分为 K 个子集，每次选择其中一个子集作为验证集，其余 K-1 个子集作为训练集，重复 K 次并取平均性能作为模型评估结果。其优点是能够充分利用数据，评估结果较稳定；缺点是需要训练 K 次，计算成本较高。

九、本章证明题模板

1. 证明期望线性性

要证：$E[af(x)+b]=aE[f(x)]+b$

证明：

$E[af(x)+b]=\int [af(x)+b]p(x)dx=a\int f(x)p(x)dx+b\int p(x)dx=aE[f(x)]+b$

因为 $\int p(x)dx=1$。

2. 证明 KL 散度非负

要证：$D_{KL}(p \Vert q)\geq 0$

证明：由不等式 $-\log t\geq 1-t$，令 $t=\frac{q(x)}{p(x)}$，则 $\log\frac{p(x)}{q(x)}\geq 1-\frac{q(x)}{p(x)}$

所以：

$D_{KL}(p \Vert q)=\sum_x p(x)\log\frac{p(x)}{q(x)}\geq \sum_x p(x)\left(1-\frac{q(x)}{p(x)}\right)=\sum_x p(x)-\sum_x q(x)=1-1=0$

因此 $D_{KL}(p \Vert q)\geq 0$。

3. 证明 JS 散度对称性

JS 散度定义：$D_{JS}(p \Vert q)=\frac{1}{2}D_{KL}(p \Vert m)+\frac{1}{2}D_{KL}(q \Vert m)$，其中 $m=\frac{1}{2}(p+q)$。

交换 $p,q$ 后：$D_{JS}(q \Vert p)=\frac{1}{2}D_{KL}(q \Vert m)+\frac{1}{2}D_{KL}(p \Vert m)$

由于加法满足交换律：$D_{JS}(q \Vert p)=D_{JS}(p \Vert q)$，所以 JS 散度具有对称性。

十、本章易错点

易错点 1：KL 散度不是距离

虽然 KL 衡量两个分布差异，但它不是严格数学距离，因为 $D_{KL}(p \Vert q)\neq D_{KL}(q \Vert p)$，它不满足对称性。

易错点 2：交叉熵和 KL 散度关系别混

$D_{KL}(p \Vert q)=H(p,q)-H(p)$。当真实分布 $p$ 固定时，最小化交叉熵等价于最小化 KL 散度。

易错点 3：MAP 比 MLE 多了先验

$MLE：\arg\max_\theta p(X \mid \theta)$；$MAP：\arg\max_\theta p(X \mid \theta)p(\theta)$

易错点 4：测试集不能调参

验证集用于调参，测试集只能最后评估。

易错点 5：模型容量不是参数数量的简单等价

参数多通常容量大，但模型容量还与模型结构、约束、正则化等有关。

十一、本章考前速记

1. 过拟合：训练误差小，测试误差大。
2. 欠拟合：训练误差和测试误差都大。
3. 模型容量：拟合复杂函数的能力，太低欠拟合，太高过拟合。
4. 泛化：模型在未知样本上的预测能力。
5. 正则化：损失函数加复杂度惩罚，缓解过拟合。
6. K 折交叉验证：轮流用 1 折验证、K-1 折训练，结果取平均。
7. KL：$D_{KL}(p \Vert q)=\sum p\log(p/q)$，非负但不对称。
8. JS：两个 KL 的平均，对称。
9. MLE：最大化 $p(X \mid \theta)$。
10. MAP：最大化 $p(X \mid \theta)p(\theta)$。
11. 交叉熵：真实分布 $p$ 下对模型分布 $q$ 的负对数期望。

十二、本章复习优先级

第 3 章 线性模型

这一章是中高频章节，尤其要盯住两个地方：

1. 线性回归：最小二乘、最大似然、梯度下降
2. 线性分类：Fisher 判别、感知机、逻辑回归

2022 缓考里明确考过：给定二分类模型 y=w^Tx+w_0，根据 Fisher 准则写问题表达和目标函数；写出逻辑回归模型，并根据最大似然估计写问题表达和目标函数。  所以这章不要只看概念，公式和目标函数必须会写。

一、本章考频判断

第 3 章属于：

Info: 考频判断 简答题高频、公式题高频、选择题中频、证明题低频。

课件的知识结构把线性模型分成两大块：线性回归模型和线性分类模型；分类模型又包括判别函数模型、概率生成模型、概率判别模型，其中 Fisher 判别、感知机、逻辑回归都在这一章体系内。

本章你要达到的水平：

二、线性模型到底“线性”在哪里？

这是本章第一个容易错的点。

课件第 3 章一开始强调：线性指参数以线性形式存在。

比如：

$y(x,w)=w_0+w_1x+w_2x^2+\cdots+w_Mx^M$

这个模型虽然对输入 x 来说是多项式，不是直线；但它对参数 w_0,w_1,\dots,w_M 是线性的，所以仍然属于线性模型。

反过来：

$y(x,w)=\exp(w_0w_1+w_2x)$

参数之间有乘积、指数等非线性关系，就不是线性模型。

考试答法

Example: 考试答法

线性模型中的“线性”通常指模型关于参数是线性的，而不一定指关于输入变量是线性的。通过对输入进行非线性基函数变换，线性模型也可以拟合非线性函数。

三、线性回归模型

1. 基本模型

给定输入 x，线性回归模型可以写为：

$y(x,w)=w_0+w_1x_1+w_2x_2+\cdots+w_Dx_D$

向量形式：

$y(x,w)=w^Tx+w_0$

如果把偏置合进向量：

$\tilde{x}=(1,x_1,x_2,\dots,x_D)^T$

$\tilde{w}=(w_0,w_1,\dots,w_D)^T$

则：

$y(x,w)=\tilde{w}^T\tilde{x}$

2. 基函数形式

为了拟合非线性关系，可以把输入 x 映射为基函数：

$\phi(x)=(\phi_0(x),\phi_1(x),\dots,\phi_M(x))^T$

模型写为：

$y(x,w)=w^T\phi(x)$

例如多项式基函数：

$\phi(x)=(1,x,x^2,\dots,x^M)^T$

课件里用数据拟合例子说明：可以构造函数对新输入预测目标值，比如多项式形式 y(x,w)=w_0+w_1x+w_2x^2+\cdots。

重点理解

Important: 重点理解

虽然 \phi(x) 可以是非线性的，但模型对 w 仍然是线性的，所以仍是线性模型。

3. 平方和误差

训练集：

$D=\{(x_i,t_i)\}_{i=1}^N$

预测值：

$y_i=y(x_i,w)$

误差：

$e_i=t_i-y(x_i,w)$

平方和误差：

$E(w)=\frac{1}{2}\sum_{i=1}^N [t_i-y(x_i,w)]^2$

其中 $\frac{1}{2}$ 是为了求导方便。

最小二乘目标

$w^*=\arg\min_w \frac{1}{2}\sum_{i=1}^N [t_i-w^T\phi(x_i)]^2$

考试中如果问“线性回归如何学习参数”，就写这个。

4. 矩阵形式

设：

模型输出：

平方误差：

令梯度为 0：

得到正规方程：

若 $\Phi^T\Phi$ 可逆：

5. 线性回归与最大似然

假设目标值由真实函数加高斯噪声得到：

$t=y(x,w)+\epsilon$

$\epsilon \sim \mathcal{N}(0,\beta^{-1})$

则：

$p(t \mid x,w,\beta)=\mathcal{N}(t \mid y(x,w),\beta^{-1})$

整个数据集的似然：

$p(t \mid X,w,\beta)=\prod_{i=1}^N \mathcal{N}(t_i \mid w^T\phi(x_i),\beta^{-1})$

最大化对数似然等价于最小化平方和误差。

考试答法

Example: 考试答法

在线性回归中，如果假设观测噪声服从均值为 0 的高斯分布，则最大化数据的似然函数等价于最小化平方和误差。

6. 随机梯度下降求解线性回归

当解析解难以得到，或者数据量太大时，可以用 SGD。课件中也说明：解析式有时难以得到，数据量大时矩阵操作计算量大，因此可用随机梯度下降。

平方误差对单个样本：

$E_i=\frac{1}{2}(t_i-w^T\phi(x_i))^2$

梯度：

$\nabla_w E_i=-(t_i-w^T\phi(x_i))\phi(x_i)$

SGD 更新：

$w \leftarrow w+\eta (t_i-w^T\phi(x_i))\phi(x_i)$

记忆

Tip: 记忆要点

预测小了，t_i-y_i>0，参数往增大预测的方向调； 预测大了，t_i-y_i<0，参数往减小预测的方向调。

四、线性分类模型总览

线性分类模型核心是用一个线性函数划分类别：

二分类规则：

决策边界：

这个线性分类形式在第 4 章 SVM 里还会继续用。课件第 4 章回顾线性分类器时也写了同样的二分类模型与分类规则。

五、Fisher 线性判别

这是第 3 章最像考试大题的内容之一。2022 缓考明确考过。

1. Fisher 判别的思想

给定二分类数据，希望找到一个投影方向 w，把高维样本投影到一维：

$y=w^Tx$

投影后希望：

1. 不同类别的均值尽可能远；
2. 同一类别内部尽可能紧。

一句话：

类间距离大，类内散度小。

2. 类均值

第 1 类样本集合 C_1，第 2 类样本集合 C_2。

原空间均值：

$m_1=\frac{1}{N_1}\sum_{x_i\in C_1}x_i$

$m_2=\frac{1}{N_2}\sum_{x_i\in C_2}x_i$

投影后均值：

$\tilde{m}_1=w^Tm_1$

$\tilde{m}_2=w^Tm_2$

3. 类内散度

投影后类内散度：

$s_1^2=\sum_{x_i\in C_1}(w^Tx_i-w^Tm_1)^2$

$s_2^2=\sum_{x_i\in C_2}(w^Tx_i-w^Tm_2)^2$

总类内散度：

$s_1^2+s_2^2$

4. Fisher 准则函数

Fisher 目标：

$J(w)=\frac{(w^Tm_1-w^Tm_2)^2}{s_1^2+s_2^2}$

也可写为：

$J(w)=\frac{w^TS_Bw}{w^TS_Ww}$

其中：

$S_B=(m_1-m_2)(m_1-m_2)^T$

目标：

$w^*=\arg\max_w J(w)$

最优方向：

$w \propto S_W^{-1}(m_1-m_2)$

5. Fisher 大题答题模板

Example: 答题模板

题目：给定二分类 y=w^Tx+w_0，根据 Fisher 准则写出问题表达和目标函数。

直接写：

Fisher 判别的目标是寻找一个投影方向 $w$ ，使两类样本投影后的类间距离尽可能大，同时类内散度尽可能小。设两类样本均值为 $m_1,m_2$ ，类内散度矩阵为 $S_W$ ，类间散度矩阵为 $S_B=(m_1-m_2)(m_1-m_2)^T$ ，则 Fisher 准则为

$J(w)=\frac{w^TS_Bw}{w^TS_Ww}$

学习目标为

$w^*=\arg\max_w \frac{w^TS_Bw}{w^TS_Ww}$

其最优方向满足

$w\propto S_W^{-1}(m_1-m_2)$

这段背熟，直接拿分。

六、感知机 Perceptron

1. 基本模型

感知机是早期的重要线性分类算法，课件也提到 Frank Rosenblatt 在 1958 年提出感知机。

分类函数：

$\hat{y}=\text{sign}(w^Tx)$

若加偏置：

$\hat{y}=\text{sign}(w^Tx+b)$

其中：

2. 感知机准则

对于样本 $(x_i,t_i)$，其中 $t_i\in\{-1,+1\}$。

正确分类要求：

$t_i(w^Tx_i+b)>0$

错分样本满足：

$t_i(w^Tx_i+b)<0$

感知机损失：

$E_P(w)=-\sum_{i\in M}t_i(w^Tx_i+b)$

其中 M 是错分样本集合。课件中也给出了感知机准则和错分样本集合的目标函数形式。

3. 感知机更新规则

对错分样本：

$w \leftarrow w+\eta t_i x_i$

$b \leftarrow b+\eta t_i$

直观理解

Tip: 直观理解

如果正样本被错分，t_i=+1，就把 w 往 x_i 方向推； 如果负样本被错分，t_i=-1，就把 w 往远离 x_i 的方向推。

4. 感知机易考点

七、逻辑回归 Logistic Regression

这是本章最重要内容。2022 缓考明确要求“写出逻辑回归模型，并根据最大似然估计写出问题表达和目标函数”。

注意：逻辑回归名字里有“回归”，但它主要用于分类。

1. Sigmoid 函数

二分类逻辑回归使用 sigmoid：

$\sigma(z)=\frac{1}{1+e^{-z}}$

性质：

$0<\sigma(z)<1$

所以可以解释为概率。

2. 二分类逻辑回归模型

设：

$z=w^Tx+b$

则：

$p(y=1 \mid x)=\sigma(w^Tx+b)$

$p(y=0 \mid x)=1-\sigma(w^Tx+b)$

合并写法：

$p(y \mid x;w)=\hat{y}^y(1-\hat{y})^{1-y}$

其中：

$\hat{y}=\sigma(w^Tx+b)$

$y\in\{0,1\}$

3. 似然函数

给定训练集：

$D=\{(x_i,y_i)\}_{i=1}^N$

假设样本独立同分布，似然函数：

$L(w)=\prod_{i=1}^N p(y_i \mid x_i;w)$

代入逻辑回归：

$L(w)=\prod_{i=1}^N \hat{y}_i^{y_i}(1-\hat{y}_i)^{1-y_i}$

4. 对数似然函数

最大似然估计：

等价于最小化负对数似然，也就是交叉熵损失：