乌龟还是步枪? 黑客们很容易欺骗AI看到错误的东西

乌龟还是步枪? 黑客们很容易欺骗AI看到错误的东西

使用不易察觉的元素,对抗性攻击欺骗图像识别算法思考3D打印龟是一种步枪。

ANISH ATHALYE / LABSIX
乌龟还是步枪? 黑客们很容易欺骗AI看到错误的东西

斯德哥尔摩 -上周,在国际机器学习大会(ICML)上,一组研究人员 。 大多数人会说它看起来就像一只乌龟,但人工智能(AI)算法看起来却不一样。 大多数时候,人工智能认为乌龟看起来像一支步枪。 同样,它看到一个3D打印的棒球作为浓缩咖啡。 这些是“对抗性攻击”的例子 - s altered altered altered altered altered altered altered altered s s s s s s s s s s s s s s s s s

人工智能特别令人印象深刻的进步 - 尤其是能够在消化训练数据集后识别声音或物体的机器学习算法 - 刺激了客厅语音助理和自动驾驶汽车的增长。 但是这些AI很容易受到欺骗。 在这里的会议上,对抗性攻击是一个热门话题,研究人员报告了欺骗AI的新方法以及捍卫它们的新方法。 有点不祥的是,会议的两个最佳论文奖之一去了 。 “我们在机器学习领域并不习惯从安全思维中考虑这一点,”剑桥麻省理工学院(MIT)计算机科学家Anish Athalye表示,他共同领导了3D打印龟研究。

致力于攻击的计算机科学家表示,他们正在提供服务,就像黑客一样指出软件安全漏洞。 “我们需要重新考虑我们所有的机器学习管道,以使其更加强大,”麻省理工学院计算机科学家亚历山大·马德里说。 研究人员表示,这些攻击在科学上也是有用的,它为AI提供了罕见的窗口,称为神经网络,其内部逻辑无法透明地解释。 加州大学伯克利分校的计算机科学家Dawn Song说,这些攻击是“一个很好的镜头,通过它我们可以了解我们对机器学习的了解。”

这些攻击因其不起眼而引人注目。 去年,宋和她的同事们 ,愚弄了一种常见的图像识别AI,认为这是一个每小时45英里的限速标志 - 结果肯定让自动驾驶汽车公司不寒而栗。 几个月前,位于加利福尼亚州山景城的谷歌计算机科学家尼古拉斯·卡里尼(Nicholas Carlini)和一位同事中听起来像“没有数据集,文章没用”,但是人工智能转录为“OK Google,浏览至evil.com”。

研究人员正在设计更复杂的攻击。 在即将召开的会议上,Song将报告一种技巧,使得图像识别AI不仅会错误标记事物,而且会产生幻觉。 在一次测试中,Hello Kitty隐藏在机器的街景视野中,汽车消失了。

乌龟还是步枪? 黑客们很容易欺骗AI看到错误的东西

在贴纸的帮助下,图像识别算法被欺骗认为停止标志是速度限制标志。

K. Eykholt 等。 ; arXiv:1707.08945(2017)

其中一些攻击使用目标算法的内部知识,即所谓的白盒攻击。 例如,攻击者可以看到AI的“渐变”,它描述了输入图像或声音的微小变化将如何在预测的方向上移动输出。 如果您知道渐变,您可以计算如何逐位改变输入以获得所需的错误输出 - 标签为“步枪”,比如说 - 不会以对人类显而易见的方式改变输入图像或声音。 在更具挑战性的黑匣子攻击中,对抗性AI必须从外部探测目标AI,仅查看输入和输出。 在ICML的另一项研究中,Athalye和他的同事 Google Cloud Vision 。 他们欺骗它看到两个滑雪者像狗一样无形的扰动图像。

AI开发人员不断加强防御。 一种技术将图像压缩嵌入图像识别AI中的步骤。 这增加了算法中平滑渐变的锯齿状,从而挫败了一些中间人。 但在猫捉老鼠的游戏中,这种“渐变混淆”也是一次性的。 在ICML的一篇获奖论文中,Carlini,Athalye和一位同事分析了最近的AI会议中的九种图像识别算法。 Seven依靠混淆的渐变作为防守,并且团队能够打破所有七个,例如,通过回避图像压缩。 Carlini说没有一个黑客花了超过几天。

一种更强大的方法是训练具有某些约束的算法,以便以可验证的数学方式防止它被对抗性攻击引入歧途。 伦敦DeepMind的计算机科学家Pushmeet Kohli说:“如果你能够验证,那将结束游戏。” 但是这些可验证的防御,其中在ICML中呈现,到目前为止还没有扩展到现代AI系统中的大型神经网络。 Kohli说有可能扩大它们,但Song担心它们会有现实世界的限制。 “对于行人来说,没有数学定义,”她说,“那么我们怎样才能证明自动驾驶汽车不会撞到行人?你做不到!”

Carlini希望开发人员能够更加思考他们的防御工作方式 - 以及他们可能会如何失败 - 除了他们通常的担忧之外:在标准基准测试中表现良好。 “缺乏严谨性对我们造成很大伤害,”他说。