特征工程 Feature Engineering

简介

特征工程是机器学习中将原始数据转换、提取与构造为模型可用特征的过程。业界有句名言:数据和特征决定了模型效果的上限,而算法只是逼近这个上限。良好的特征工程往往比调参更能提升模型性能。

核心环节

• 特征提取:从原始数据中抽取有意义的信息,如从文本提取词频、从时间戳提取星期与节假日。
• 特征变换:对数值做标准化、归一化、对数变换,使分布更利于建模。
• 特征编码:将类别变量转为数值,如独热编码、标签编码、目标编码。
• 特征构造:基于业务理解组合衍生新特征,如交叉特征、比率特征。
• 特征选择:筛除冗余与无关特征,降低维度并防止过拟合。

常见处理

实践中还需处理缺失值填充、异常值修正、离散化分箱与高基数类别压缩等问题。这些操作直接影响模型的泛化能力与训练效率。

应用

特征工程贯穿几乎所有传统机器学习项目,在风控、推荐、广告点击率预估等场景尤为关键。随着深度学习的发展,部分领域出现了自动特征学习的趋势,但在结构化数据建模中,人工特征工程依然不可替代。