我们使用 cuDNN-v5和CUDA-v8配置的Torch 7来做推理时间和内存占用测算。所有的试验都使用的是JstPack-2.3 NVIDIA Jetson TX1，内置视觉计算系统，64-bit ARM A57 CPU。

　　使用这种限量级的设备是为了更好地强调网络架构的不同，主要是因为使用现存的大多数GPU，比如NVIDIA K40或者Titan X得出的结果基本都一样。为了测算功耗，我们使用的是Keysight 1146B Hall电流探头，内置Keysight MSO-X 2024A 200MHz 数字显波器，抽样周期2s，采样率50kSa/s。该系统由 Keysight E3645A GPIB数控直流电源供电。

　　具体结果

　　我们比较了以下 DDN：

AlexNet (Krizhevsky et al., 2012)；batch normalised AlexNet (Zagoruyko, 2016)；batch normalised Network In Network (NIN) (Lin et al., 2013)；

ENet (Paszke et al., 2016) for ImageNet (Culurciello, 2016)；

GoogLeNet (Szegedy et al., 2014)；

VGG-16 and -19 (Simonyan & Zisserman, 2014)；

ResNet-18, -34, -50, -101 and -152 (He et al., 2015)；

Inception-v3 (Szegedy et al., 2015) 以及 Inception-v4 (Szegedy et al., 2016)。

　　1. 准确率（Accuracy）

　　图 1 展示了提交给 ImageNet 挑战赛的架构的 1-crop 准确率，最左边的是 AlexNet，最右边的是 Inception -v4。最新的 ResNet 和 Inception 架构相比其他架构准确率至少高 7%。本文中，我们使用不同的颜色区分不同的架构和他们的作者，同一个网络的色系相同，例如粉色系的都是 ResNet。

　　图2 则提供了各网络更详细的准确率值，将计算成本和网络参数的数量可视化呈现。首先非常明显的是，VGG 不管从计算需求还是参数数量方面来说，都是迄今为止最昂贵的架构，尽管它已经被广泛应用于许多应用程序。VGG 的16层和19层的实现实际上与其他所有网络都是隔绝的。其他的架构形成了一条斜线，到 Inception 和 ResNet 时，这条线开始变平缓。这表明这些模型在该数据集上到达一个拐点。在这个拐点上，计算成本（复杂性）开始超过准确率上的好处。

　　2. 推理时间（Inference Time）

　　上图（图3）显示了各架构在每个图像上的推理时间，作为一个图像批大小（从1到64）函数。我们注意到 VGG 处理一张图像所需时间约1/5秒，这使它在 NVIDIA TX1 上实时应用的可能性较小。AlexNet 的批大小从1到64的变化中，处理速度提升了3倍，这是由于它的完全连接层的弱优化，这个发现令人惊讶。

　　3. 功耗（Power）

　　由于电流消耗的高频率波动，功耗的测量相当复杂，需要高采样电流读出以避免混淆。在本研究中，我们使用的测量工具是带电流探头的 200 MHz 数字示波器。如上图所示，功耗多数情况下与批大小无关。由图3可见，AlexNet （批大小为1）和 VGG（批大小为2）的低功耗与较慢的推理时间相关。

　　4 内存（Memory）

　　分析使用 CPU 和 GPU 共享内存的 TX1 设备的系统内存消耗得到的结果由下图可见，最初最大系统内存使用情况是不变的，随着批大小增加，内存消耗增大。这是由于网络模型的初始内存分配以及批处理时的内存需求随着图像数量的增加而成比例地增加。

　　分析使用 CPU 和 GPU 共享内存的 TX1 设备的系统内存消耗得到的结果由上图可见，最初最大系统内存使用情况是不变的，随着批大小增加，内存消耗增大。这是由于网络模型的初始内存分配以及批处理时的内存需求随着图像数量的增加而成比例地增加。

　　从上图中我们注意到，对规模小于 100 MB的网络，初始内存分配不会小于 200 MB，而且随后呈现为一条斜率为1.3的线性函数。

　　5 运算（Operations）

　　在神经网络加速器的自定义实现中，运算量（operation count）对于预估推理时间和硬件电路体积是必要的。