相反，Etzioni只问了一个问题：我们什么时候会实现超级智能？回答者中有一半以上（67.5%）选择了实现超级智能需“超过25年”——在Bostrom的调查中也有超过一半的回答认为超过25年后，有超过50%的概率能实现人类水平的智能。Russell对Etzioni的调查回答的也是“超过25年”，而且Bostrom针对自己的调查写道：“我自己的看法是，调查结果的中位数显示在较近的未来实现超级智能的可能性不大。”

　　误导性的调查设计

　　Etzioni设计的调查可能诱导被调查者选择“超过25年”这个选项，然后掉进他的圈套：Etzioni宣称25年是“超出可预见的未来”，进而推论出包括Russell和Bostrom自身都不认为超级智能AI对人类构成威胁。这个推论不仅让Russell和Bostrom惊讶，可能其他许多受访者也会感到惊讶。（实际上，Etzioni的调查很容易得出的结论是“75%的专家认为超级智能AI不可避免”。）仅仅因为大多数专家认为灾难性的危害25年内不会发生，我们就应该忽略它们吗？根据Etzioni的逻辑，我们是不是还应该忽略气候变化的灾难性风险，并且扼杀那些提出风险的人？

　　与Etzioni等人的观点相反，我们认为指出AI存在的长期风险不等于认为超级智能AI及其伴随的风险“迫在眉睫”。指出AI风险的专家包括Alan Turing，Norbert Wiener，I.J. Good和Marvin Minsky。甚至Oren Etzioni在另一些文章中也承认过这些风险。据我们所知，这些人都没有声称过超级智能AI时代即将来临。如我们上文中论述到的，Bostrom在《超级智能》一书中也没有表达过这样的观点。

　　站不住脚的含糊观点

　　Etzioni接着重复了一个含糊的观点：“悲观的预测常常掩盖了AI的潜在益处，例如防止医疗失误、减少车祸，等等”。这个观点甚至无法套在Bostrom身上，因为Bostrom认为成功地控制AI将带来“人类智慧和AI的共荣”。Etzioni的这个观点也相当站不住脚。就像认为分析核电站堆芯熔毁的核工程师“没有考虑廉价电力带来的潜在利益”，而且因为核电站某天能真正产生廉价的电力，我们就不应该提及其危害，也不应该预防堆芯熔毁的可能性。

　　切尔诺贝利核事故的经验教训表明，声称强大的技术不会带来任何风险是不明智的。同样，声称强大的技术永远不会实现也是不明智的。1933年9月11日，卢瑟福爵士（Lord Rutherford），或许是世界上最著名的核物理学家，认为从原子中提取能量的前景不过是“空谈”。不到24小时，Leo Szilard发明了中子诱发核裂变反应；几年后，核反应堆以及核武器有了详尽的设计。所以说，最好是高估人类的聪明才智，而非低估它；最好是承认风险的存在，而非否认。

　　许多杰出的AI专家已经意识到AI对人类存续的风险的可能性。不同于媒体报道中的误导说法，这种风险不必由AI自发的恶意引起。相反，风险来自AI部署和优化过程中的不可预测性和潜在的不可逆性，使得该AI比优化它的人更智能。早在1960年Norbert Wiener就已清楚地提出了这个问题，但我们直到今天仍没能解决它。我们希望读者诸君支持正在进行的研究工作。

　　2016年11月2日Oren Etzioni对此文的回复：

　　我很高兴，Dafoe和Russell教授和我似乎在三个关键问题上达成了一致：第一，我们应该避免人身攻击。在这里，请允许我道歉：我不应该引用不具名的AAAI研究员，他们中可能从Bostrom博士到唐纳德·特朗普都有。我并不是故意要支持那样的比较；我已经通过电子邮件为这次失误向Bostrom真诚道歉，他也很有风度地接受了我的道歉。第二，作为科学家，评估有关AI的风险时，我们应该以数据为基础。这也是我那篇短文的主要观点，并且文章提供了有关这个问题的数据。第三，我们都认为媒体歪曲了Bostrom著作的原意——这个被广泛关注的话题，某种程度上在白宫有关人工智能的报告中被轻视了。当然，我们在许多细节和错综复杂的论据上有许多不同观点，开奖，但时间会告诉我们答案。

　　附：Oren Etzioni在《No, the Experts Don't Think Superintelligent AI is a Threat to Humanity》一文中反驳Bostrom的《Superintelligence》的观点主要有：

现有数据不足以支持超级智能将在可预见的未来（25年内）出现的观点。

悲观的预测常常掩盖了AI的潜在益处，例如防止医疗失误、减少车祸，等等。

AI系统可以与人类智慧共荣，创造“共栖超级智能”（symbiotic superintelligence），这与Bostrom提出的恶意的自主意识AI非常不同。

　　原文链接：https://www.technologyreview.com/s/602776/yes-we-are-worried-about-the-existential-risk-of-artificial-intelligence/

　　：COO、执行总编、主编、高级编译、主笔、运营总监、客户经理、咨询总监、行政助理等 9 大岗位全面开放。

　　简历投递：j[email protected]

　　HR 微信：13552313024