高斯过程 (Gaussian Process)

定义

高斯过程(Gaussian Process,GP)是函数上的概率分布:任意有限个输入点对应的函数值服从联合高斯分布,由均值函数和协方差函数(核函数)完全刻画。它是贝叶斯非参数方法的代表,Rasmussen 与 Williams 的教材《Gaussian Processes for Machine Learning》是该领域的标准参考。

原理

高斯过程回归以核函数编码函数的先验假设(如平滑性、周期性),给定观测数据后通过高斯分布的条件公式解析地得到后验:预测均值给出点估计,预测方差给出不确定性区间。核函数的超参数一般通过最大化边际似然自动学习。

应用

最突出的用途是贝叶斯优化:利用 GP 对昂贵黑箱函数建模,指导超参数调优与实验设计;此外还用于时间序列建模、地统计学(克里金插值)和机器人控制。

局限

精确推断需对核矩阵求逆,复杂度为样本数的立方,大数据需借助稀疏近似(如诱导点方法)。