Ruthless's Blog

机试开卷资料。

强化学习的部分发展。

前三讲分别从列空间、二次型、SVD 三个角度建立了矩阵论的基础工具。第四讲把这些工具串起来，回答一个核心问题：

机器学习为什么反复关心"方向"？哪些方向有信息？哪些方向是噪声？哪些方向应该被正则化或丢弃？

奇异值分解SVD在机器学习中的作用。

子空间、秩、奇异矩阵、最小二乘.

正定 (PD) 与半正定 (PSD) 矩阵在机器学习中的作用。

DPO，全称 Direct Preference Optimization，可以理解为：不用显式训练奖励模型、也不用 PPO，而是直接用偏好数据微调 LLM，让模型更偏向人类喜欢的回答。

它是 RLHF 的一种简化替代方案。

感知机

本节主要讲 K-means 聚类、Gaussian Mixture Models。

本节详细讲解 EM 算法的原理与证明。