核技巧 (Kernel Trick)

定义

核技巧(Kernel Trick)是核方法的核心思想:许多线性算法(如支持向量机、感知机、PCA、岭回归)可以改写为只依赖样本间内积的形式,此时用一个核函数 K(x, z) 替代内积,就相当于把数据隐式映射到高维甚至无穷维特征空间中做线性学习,而无需显式计算映射本身。

理论基础

Mercer 定理给出了合法核函数的条件:对称且对应的核矩阵半正定。常用核包括线性核、多项式核、高斯径向基核(RBF)和字符串核、图核等结构化数据核。表示定理(representer theorem)保证最优解可表示为训练样本核函数的线性组合。

应用

核技巧催生了核 SVM、核 PCA、核岭回归、高斯过程等一整族算法,在 2000 年代是机器学习的主流范式。

局限

核矩阵规模随样本数平方增长,大数据场景计算与存储代价高,随机特征近似(如 Random Fourier Features)是常见缓解手段。