高斯核

创建：2025/7/9 科研机器学习核函数

高斯核（Gaussian Kernel）是一种常用的核函数（Kernel Function），广泛应用于支持向量机（SVM）、核主成分分析（KPCA）、聚类等机器学习任务中，尤其擅长处理非线性问题。其核心原理是通过“隐式映射”将低维空间中线性不可分的数据转换到高维空间，从而在高维空间中实现线性可分，同时避免了直接计算高维空间的复杂运算。

一、核函数的基本概念

在解释高斯核之前，先明确核函数的作用：
现实中很多数据在低维空间是线性不可分的（比如二维平面上的环形数据），此时需要将数据映射到更高维的空间（比如三维），使得在高维空间中数据可以用线性超平面分隔。

设低维空间的样本为 $x, y$ ，映射函数 $ϕ$ 将其映射到高维空间 $ϕ (x), ϕ (y)$ ，则高维空间中两个样本的内积为 $ϕ (x) \cdot ϕ (y)$ 。
核函数的定义为：

K (x, y) = ϕ (x) \cdot ϕ (y)

即核函数直接计算低维样本的某种关系，等价于高维空间中映射后的内积。

核函数的优势在于：无需显式定义映射函数 $ϕ$ （甚至无需知道 $ϕ$ 的具体形式），就能间接实现高维空间的内积运算，大幅降低计算复杂度。

二、高斯核的定义

高斯核（也称为径向基函数核，RBF Kernel）的数学表达式为：

K (x, y) = \exp (- \frac{∥ x - y ∥^{2}}{2 σ^{2}})

其中：

$| x - y ∥^{2}$ 是低维空间中样本 $x$ 和 $y$ 的欧氏距离平方（衡量样本间的“物理距离”）；
$σ$ 是带宽参数（Bandwidth），控制核函数的“宽窄”；

三、高斯核的核心原理

高斯核的原理可以从“相似度衡量”和“隐式高维映射”两个角度理解：

1. 本质是样本相似度的度量

高斯核的输出值 $K (x, y)$ 本质上是两个样本 $x, y$ 的相似度：

当 $x = y$ 时，欧氏距离 $∥ x - y ∥^{2} = 0$ ，此时 $K (x, y) = \exp (0) = 1$ （相似度最高）；
当 $x$ 和 $y$ 距离越远时， $∥ x - y ∥^{2}$ 越大，指数部分越接近 $- \infty$ ， $K (x, y)$ 越接近0（相似度越低）。

因此，高斯核通过“距离越近，相似度越高”的逻辑，刻画了样本间的内在关联。

2. 隐式映射到无限维空间

高斯核的关键特性是：它对应一个从低维空间到无限维空间的隐式映射。

我们可以通过泰勒展开验证这一点：
对于一维样本 $x$ ，高斯核的映射函数 $ϕ (x)$ 可表示为无穷多个基函数的组合（例如 $1, x, x^{2}, x^{3}, \dots$ 的加权形式）。这意味着，高斯核无需手动设计高维映射，就能自动将数据“嵌入”到无限维空间，从而理论上可以处理任意复杂的非线性关系。

为方便理解，做以下推导：
已知高斯核（简化形式，省略 $σ$ 参数）：

K (x_{i}, x_{j}) = \exp {- ‖ x_{i} - x_{j} ‖^{2}}

利用向量差的平方公式 $‖ x_{i} - x_{j} ‖^{2} = x_{i}^{2} + x_{j}^{2} - 2 x_{i} x_{j}$ （假设 $x_{i}, x_{j}$ 为一维标量，多维可推广），代入核函数：

\begin{aligned} K (x_{i}, x_{j}) & = \exp {- x_{i}^{2} - x_{j}^{2} + 2 x_{i} x_{j}} \\ = \exp {- x_{i}^{2}} \cdot \exp {- x_{j}^{2}} \cdot \exp {2 x_{i} x_{j}} \end{aligned}

对 $\exp {2 x_{i} x_{j}}$ 做泰勒展开:
指数函数的泰勒展开式为 $\exp {z} = \sum_{n = 0}^{\infty} \frac{z^{n}}{n!}$ （ $z \in R$ ）。令 $z = 2 x_{i} x_{j}$ ，则：

\exp {2 x_{i} x_{j}} = \sum_{n = 0}^{\infty} \frac{(2 x_{i} x_{j})^{n}}{n!} = \sum_{n = 0}^{\infty} \frac{2^{n}}{n!} (x_{i} x_{j})^{n}

构造“隐式映射函数” $ϕ (x)$ ,观察展开式的结构，可将 $\exp {- x_{i}^{2}} \cdot \exp {2 x_{i} x_{j}} \cdot \exp {- x_{j}^{2}}$ 重新组合为两个向量的内积。

定义无限维映射函数：

ϕ (x) = \exp {- x^{2}} \cdot (\sqrt{\frac{2^{0}}{0!}}, \sqrt{\frac{2^{1}}{1!}} x, \sqrt{\frac{2^{2}}{2!}} x^{2}, \dots, \sqrt{\frac{2^{n}}{n!}} x^{n}, \dots)

此时， $ϕ (x_{i})$ 与 $ϕ (x_{j})$ 的内积为：

ϕ (x_{i}) \cdot ϕ (x_{j}) = \exp {- x_{i}^{2}} \exp {- x_{j}^{2}} \sum_{n = 0}^{\infty} \frac{2^{n}}{n!} x_{i}^{n} x_{j}^{n} = \exp {- x_{i}^{2} - x_{j}^{2} + 2 x_{i} x_{j}}

这与高斯核的表达式完全一致，即：

K (x_{i}, x_{j}) = ϕ (x_{i}) \cdot ϕ (x_{j})

通过泰勒展开 + 向量内积重组，证明了高斯核可对应一个无限维的隐式映射函数 $ϕ (x)$ ：

无需显式写出高维空间的全部维度，仅通过低维样本的指数运算，就能等价于高维空间的内积；
映射函数 $ϕ (x)$ 的分量包含 $x$ 的各阶幂次（ $x^{0}, x^{1}, x^{2}, \dots$ ），系数由泰勒展开的余项决定。
若 $x_{i}, x_{j}$ 是多维向量（如 $x = (x_{1}, x_{2}, \dots, x_{d})$ ），推导逻辑类似，仅需将“一维幂次”替换为“多维多项式组合”（如 $x_{1}^{a} x_{2}^{b} \dots x_{d}^{k}$ ）；
实际应用中，无需显式计算 $ϕ (x)$ ，直接用核函数公式即可完成高维内积的“隐式计算”（核技巧，Kernel Trick）。

3. 带宽参数 $σ$ 的作用

参数 $σ$ 是高斯核的核心超参数，直接影响模型性能：

$σ$ 较小时：核函数曲线尖锐（“窄核”），只有与样本 $x$ 非常近的样本 $y$ 才会被认为有较高相似度（核值接近1）。此时模型容易过拟合（对噪声敏感，只关注局部细节）。
$σ$ 较大时：核函数曲线平缓（“宽核”），更多距离较远的样本会被认为有较高相似度。此时模型容易欠拟合（忽略局部差异，过度平滑数据）。

形象地说， $σ$ 决定了模型“关注范围”的大小： $σ$ 越小，关注局部； $σ$ 越大，关注全局。

LOADING

高斯核