神经架构搜索

为什么要自动搜索

设计一个好的神经网络架构需要大量专业知识和反复实验，AlexNet、VGG、ResNet 背后是研究团队数年的积累。NAS 的目标是让算法替代这个过程：在预定义的搜索空间（选择什么类型的层、多少层、如何连接）里，用强化学习、进化算法或梯度方法探索最优架构。

2017 年 Google Brain 的 NASNet 用强化学习控制器生成架构，然后在 CIFAR-10 上训练评估反馈奖励，耗费 800 块 GPU 跑了 28 天，搜出的架构在 ImageNet 上超越了当时所有人工设计网络。代价显然不菲——这是早期 NAS 被诟病的主要问题。[1]

可微分 NAS 与轻量化网络

2018 年 DARTS（Differentiable Architecture Search）把搜索过程变成可微分的优化问题：候选架构的选择用 softmax 参数化，和网络权重一起用梯度下降优化，把搜索成本从几百 GPU 天降到 4 块 GPU 一天。

NAS 最显著的工业化成果是 Google 的 EfficientNet（2019）：用复合缩放方法同步搜索网络深度、宽度和分辨率，在同等 ImageNet 准确率下，参数量比 ResNet-50 少 8 倍，推理速度快 6 倍。EfficientNet-B7 是当年的 ImageNet 榜首。移动端的 MobileNetV3 也融合了 NAS 搜索的模块，成为手机上图像分类的事实标准。