参与：李泽南、蒋思源

Marine Carpuat，马里兰大学计算语言学和信息处理实验室计算机科学助理教授

十年前，我们还认为用计算机技术进行类似自动翻译，识别图像中的物体，甚至写一段话描述图像中的内容这样的任务看起来很有趣，但对于现实世界而言并不实用。

最近人工智能的快速发展改变了这一情况，随着时间的推移，越来越多的人们开始依赖基于机器学习等方式进行他们的工作。然而，这也为人工智能研究者带来了新的课题：如何确保这些算法、训练数据、甚至用于测试系统的工具是准确而无偏差的？

Ece Kamar，atv，哈佛大学计算机科学博士

微软自适应系统和交互组研究员 Ece Kamar 表示，研究者和开发人员已经意识到，尽管事实上这些系统并不完美，人们却已经为它们赋予重任了。

「这就是为什么了解我们的系统在何处出错是如此的重要，」Kamar 说道。

在本周末于旧金山举行的 AAAI 人工智能会议上，Kamar 和她的微软同事将提交两篇论文，旨在通过算法和人类专业知识消除计算机数据和系统的偏见。此外，另一个微软研究团队则发表了一个语料库（MSLT），可以帮助语音翻译研究者测试他们的会话系统的准确性。

数据支撑的人工智能

当开发者使用机器学习创建工具时，他/她通常会依赖大量数据进行训练，让系统学会执行特定的任务。例如，为了训练机器学习系统识别不同类别的动物，开发者需要向系统中输入大量不同动物的图片，以此训练系统识别不同动物（如猫和狗）的区别。

理论上，经过训练的系统可以识别它从未见过的图片中的猫和狗。

但是，正如 Kamar 指出的，训练数据系统有时会出现一些被称为盲点的错误，导致错误的结果。例如，如果我们只给系统输入白色的猫和黑色狗图片进行训练，随后输入白色狗图片让它进行判断，系统可能就会错误地把狗误认为猫了。

此类问题在研究者使用不是专门设计用于手头任务的数据集时经常发生。这是难以避免的——使用一个现成的数据集，如一组带有标签的动物图片，比自己重新建立一个方便得多——这也意味着对训练数据集进行安全检查刻不容缓。

「如果这种事没有发生过，我们就无法知晓数据的偏见，」Kamar 说道。

在其中一篇论文的研究中，Kamar 和她的同事们展示了被认为可以识别系统盲点的预测模型，这可以让开发者发现并解决此类问题。目前这个项目还在研究过程中，但研究小组希望这项技术最终可以成为所有开发者和研究人员可以依赖的盲点检测工具。

「所有使用机器学习的公司和学术机构都会需要这些工具，」Kamar 说道。

Kamar 和她的同事在 AAAI 会议上展示的另一项研究有关帮助研究者在复杂的人工智能系统里不同错误如何导致不同的错误结果。由于人工智能正在被应用于越来越复杂的任务，依赖于越来越多的参数，进行此类分析看起来难度惊人。

例如，假如一个自动描述照片内容的工具将泰迪熊错误地描述为搅拌机。你也许会认为错误出在训练数据集的图片构成上，只有为数据集的图片进行正确的描述才能解决这个问题。

Kamar 和她的同事们设计了一种方法，可以指导研究者们通过模拟使用各种修复方式来解决这样的问题。

有人监督的训练

对于参与过的研究项目而言，Kamar 表示她受到了 AI 100 的强烈影响，AI 100 是斯坦福大学的一个项目，旨在研究人工智能未来一百年中将会怎样影响人类。

Kamar 表示她从这些工作中获得的额外收获在于确认了人们在深入参与开发系统、验证系统和修正系统（troubleshooting systems）的重要性——研究人员称之为「有人监督的训练（human in the loop）」。这将确保我们正在构建的人工智能会增强人类的能力，并反映出人类的期望。

测试会话翻译的准确性

当开发者和学术研究员建立在对话中识别单词的系统时，他们会很注重测试系统的准确性：利用如 Switchboard 和 CALLHOME 那样的会话数据集。

Christian Federmann，高级项目经理