在训练阶段之后，所提出的方法在 CIFAR-10 数据集上使用了 9×10^19 FLOPS，使精确度达到了 94%，随后我们应用了相同的神经网络进化算法，其参数是 CIFAR-100 中使用 7×10^19 FLOPS，使精确度达到 76.3% 时的参数。我们所料不错，这两个数据集的结果与其他最先进的人工设计结果相比颇具竞争力。

我们还对多个实验中的结果进行了统计分析，其演化进展如下图所示：

图 2. 结果和控件的可重复性。本图中，时间 t 处的垂直轴被定义为在 t 时刻或之前存活的具有最高验证精确度个体的测试精确度。插图了放大主图的一部分。这条曲线所显示的各实验的进展情况如下。顶线（蓝色实线）显示了 5 次大规模演化实验的平均测试精确度，其周围阴影区域的宽度为±2s（插图更为清晰）。下一行（主图和插图中的橙色虚线）则表示禁用权重继承时的单一实验，因此每个个体都需从随机权重中进行训练。最低位的曲线（点划线）是随机搜索控件。所有实验使用的硬件数量与类型都相同，而从验证到测试集的泛化中出现的少量噪声则解释了曲线并非单调增加的原因。±2s 区域的窄宽度（主图和插图）则表明演化实验中得到高精确度具备可重复性。

在分析时，它总结出了一个用于清查的大型搜索空间，来得到更好的最优解决方案。同时，突变率的适当增加有助于避免局部最小值。另一方面，当表示训练步骤号的元参数 T 增大时，精确度便会增加。此外，更大的训练步骤意味着，个体需经过更少的身份突变来达到给定的训练水平。

图 3. 对元参数的依赖。在这两幅图中，每个圆圈表示完整演化实验的结果。两个垂直轴则表示实验结束时具有最高验证精确度个体的测试精确度。所有群体的演化时间相同。每个水平轴的值存在 5 个数据点。左侧为群体规模的影响。为了节省资源，这些实验的个体训练步骤数只有 2560 步。能够发现，精确度随着群体规模的增大而增加。右侧为个体训练步骤数量的影响。可以观察到随着步骤的增多，精确度将如何增加。

同时，其他的参数设置技巧也被应用于进一步探索，其性能如下：

图 4. 避免局部最优。这几幅图显示了两次演化实验的进展，而下述事件发生在演化中期。这些事件使群体能够避免被困在局部最优中。在这两幅图中，每个点代表一个个体。这些实验使用小规模群体与较少的训练步骤，这 2560 个个体是主实验。这两种情况都使群体更容易受困，消耗的计算资源也更少。垂直轴是进化算法中举足轻重的验证精确度（或适应度）。上部：个体数为 100 的群体通过利用突变率上升的时期，成功避免局部最优的示例（第 5 节）。群体向高原期演变，每次繁殖的正常情况是突变为 1（左），随后使突变率上升，使每次繁殖的突变为 5（中间），接着，再次将每次繁殖的突变改为 1（右）。可以发现，群体最终避免了最初的高原期。底部：个体数为 50 的群体通过重设权重，成功避免局部最优的示例（第 5 节）。权重分别在三个中间刻度的标记处进行了 3 次重设，每次重设后，群体都会达到精确度更高的新高原期。

综上，本文提出了一种用于大规模搜索的新型神经演化算法，其新颖性在于它能够处理相当大的神经网络（如 CNN 等）。由于该方法使用了新的变异策略，故而在分类任务中极具竞争力；同时，经过训练的模型获得了良好的转移能力（从 CIFAR-10 转移到 CIFAR-100）。但考虑到在特定任务中，通用应用不具备多个并行的高性能计算机，因而存在计算成本昂贵的缺点。此外还需考虑到，如今只用一个功能强大的 CNN 分类器便可轻松完成分类任务。详尽的搜索似乎并不必要，因为它花费虽多，却只能提升一点点精确度。但若这个方法能够扩展到适应多个任务（如具有改良空间的分割和检测），这个尝试便是良好开端，并且颇具潜力。

机器之心英文网站原文地址：https://syncedreview.com/2017/05/01/large-scale-evolution-of-image-classifiers/

©本文为机器之心英文原创文章，转载请联系本公众号获得授权。

✄------------------------------------------------

加入机器之心（全职记者/实习生）：[email protected]

投稿或寻求报道：[email protected]

广告&商务合作：[email protected]