研究人员展示了一种攻击人工智能计算机视觉系统的新方法，使其能够控制人工智能“看到”的内容 。研究表明，这种名为 RisingAttacK 的新技术能有效操纵所有最广泛使用的人工智能计算机视觉系统 。

问题在于所谓的“对抗性攻击” ，在这种攻击中，攻击者操纵输入到人工智能系统的数据，以控制系统在图像中看到或看不到的内容 。例如，有人可能会操纵人工智能检测交通信号、行人或其他车辆的能力 ——这将给自动驾驶汽车带来问题 。或者黑客可以在 X 射线机上安装代码，导致人工智能系统做出不准确的诊断 。

北卡罗来纳州立大学电气与计算机工程副教授、该论文的共同通讯作者吴田富（Tianfu Wu）表示：“我们希望找到一种有效的方法来入侵人工智能视觉系统，因为这些视觉系统经常用于可能影响人类健康和安全的场景中——从自动驾驶汽车到健康技术再到安全应用” 。“这意味着这些人工智能系统必须非常安全 。识别漏洞是使这些系统安全的重要一步，因为你必须识别漏洞才能防御它” 。

RisingAttacK 由一系列操作组成，目标是对图像进行最少的更改，从而允许用户操纵视觉 AI“看到”的内容 。首先，RisingAttacK 识别图像中的所有视觉特征 。该程序还运行一个操作，以确定哪些特征对于实现攻击目标最重要 。吴说：“例如，如果攻击的目标是阻止人工智能识别汽车，那么图像中最重要的特征是什么，才能使人工智能能够识别图像中的汽车？”

RisingAttacK 随后计算人工智能系统对数据变化的敏感度，并确定人工智能对关键特征数据变化的敏感度 。吴说：“这需要一些计算能力，但能让我们对关键特征进行非常小、有针对性的更改，从而使攻击成功” 。“最终结果是，两张图片在人眼看来可能一模一样，我们可能清楚地看到两张图片中都有一辆车。但由于 RisingAttacK，人工智能会在第一张图片中看到一辆车，但在第二张图片中却看不到一辆车” 。

“RisingAttacK 的性质意味着我们可以影响人工智能识别其训练识别的前 20 或 30 个目标中的任何一个的能力 。所以，那可能是一辆车、一个行人、一辆自行车、一个停车标志等等” 。

研究人员针对四种最常用的视觉人工智能程序：ResNet-50、DenseNet-121、ViTB 和 DEiT-B 对 RisingAttacK 进行了测试 。该技术对所有四种程序都有效 。

吴说：“虽然我们展示了 RisingAttacK 操纵视觉模型的能力，但我们现在正在确定该技术在攻击其他人工智能系统（例如大型语言模型）方面的有效性” 。“展望未来，目标是开发能够成功防御此类攻击的技术” 。

题为“Adversarial Perturbations Are Formed by Iteratively Learning Linear Combinations of the Right Singular Vectors of the Adversarial Jacobian”的论文将于 7 月 15 日在加拿大温哥华举行的国际机器学习会议上发表 。该论文的共同通讯作者是北卡罗来纳州立大学最近获得博士学位的 Thomas Paniagua 。该论文由北卡罗来纳州立大学的博士生 Chinmay Savadikar 共同撰写 。

这项工作得到了国家科学基金会（资助号 1909644、2024688 和 2013451）以及陆军研究办公室（资助号 W911NF1810295 和 W911NF2210010）的支持。

研究团队已将 RisingAttacK 公开 ，以便研究社区可以利用它来测试神经网络的漏洞 。该程序可以在这里找到：https://github.com/ivmcl/ordered-topk-attack 。