Ruthless's Blog

感知机

本节主要讲 K-means 聚类、Gaussian Mixture Models。

本节详细讲解 EM 算法的原理与证明。

学习理论研究训练误差与泛化误差的关系。有限假设类用 Hoeffding inequality + union bound 得到 uniform convergence；无限假设类用 VC dimension 衡量模型复杂度，分析泛化所需样本量。

本文整理 CS229 课程中正则化与模型选择的核心内容，涵盖交叉验证、L1/L2 正则化、特征选择方法（wrapper / filter），以及从贝叶斯先验推导正则化的视角。

Gaussian Discriminant Analysis (GDA) 与 朴素贝叶斯

支持向量机SVM的原理。

从Linear Regression开始，到线性回归的Normal Equation与Probabilistic Interpretation；再引入Logistic Regression与Softmax Regression；最后使用Generalized Linear Models统一这三种回归。

矩阵求导的定义与常见公式。

APO的动机、原理、公式。