Ruthless's Blog

学习理论研究训练误差与泛化误差的关系。有限假设类用 Hoeffding inequality + union bound 得到 uniform convergence；无限假设类用 VC dimension 衡量模型复杂度，分析泛化所需样本量。

Gaussian Discriminant Analysis (GDA) 与 朴素贝叶斯

支持向量机SVM的原理。

从Linear Regression开始，到线性回归的Normal Equation与Probabilistic Interpretation；再引入Logistic Regression与Softmax Regression；最后使用Generalized Linear Models统一这三种回归。

矩阵求导的定义与常见公式。

APO的动机、原理、公式。

GRPO 与 SPPO 的动机、原理、公式及代码笔记。

强化学习笔记，包括概念定义、REINFORCE、Actor-Critic、PPO 以及相关代码

2026年上海创智学院夏令营回忆录

EvoHead笔记，方便之后回忆。