增强现实世界的对抗补丁与3D建模技术
重磅干货，第一时间送达
小白导读
论文是学术研究的精华和未来发展的明灯。小白决心每天为大家带来经典或者最新论文的解读和分享，旨在帮助各位读者快速了解论文内容。个人能力有限，理解难免出现偏差，建议对文章内容感兴趣的读者，一定要下载原文，了解具体内容。
尽管许多研究都考察了现实世界中的对抗案例，但大多数都是基于攻击现场的2D照片;因此，所提出的攻击不能解决带有3D对象或各种条件的现实环境。使用3D对象的研究是有限的，而且在许多情况下，真实世界的评估过程是不能被其他研究人员复制的，这就阻止了其他人复制结果。在这项研究中，作者提出了一个框架，为现有的现实世界场景制作一个对抗补丁。作者的方法使用3D数字近似值的场景来模拟真实世界。通过在数字场景中添加和操作任何元素的能力，作者的框架使攻击者能够提高补丁在现实环境中的鲁棒性。作者使用该框架为日常场景创建一个补丁，并使用一种新颖的评估过程来评估其性能，以确保作者的结果在数字空间和现实世界中都是可重现的。作者的评估结果表明，该框架可以生成对抗补丁，在现实世界的不同设置是稳健的。
在本文中，作者提出了一个框架，利用三维计算机图形方法来制作对抗补丁，可以添加到现有的现实生活场景。作者的方法允许攻击者针对复杂的现实场景，以及建模和转换场景的对象、环境特征等。该框架使用目标场景的数字3D副本来模拟真实世界，从而允许攻击者评估一个补丁的局限性，并在没有被发现的风险下改进它。由于攻击者控制数字副本，他/她可以添加、更改和删除不同的元素，因此可以创建一个对真实世界的转换更健壮的补丁。该框架允许外部建模和渲染工具的集成，这使攻击者能够灵活地使用他/她喜欢的工具实现攻击。作者使用开源工具实现框架，因此攻击者在有限的预算下也可以访问攻击。
此外，作者提出了一个专门设计的评估过程，使实验可以重复和多次执行。在数字空间和现实世界中，作者采用了两步评估过程来评估作者的攻击。作者研究使用一个副本来创建和改进一个对抗补丁是否可以模拟补丁在现实世界中的性能。为此，作者使用框架来创建多目标类的对抗补丁，并使用评估过程来比较它们在数字空间和现实世界中的表现。此外，在现实场景中，目标场景可能会发生意想不到的变化;因此，作者检查了补丁对场景变化的鲁棒性，这些变化没有被建模为场景复制的一部分。因此，作者评估改变或添加新的对象到场景如何影响补丁的能力欺骗目标神经网络。通过发布作者的评估设置和代码[9]，研究人员可以重现作者的结果并改进它们。
本研究的主要贡献有:
作者提出了一个框架，在无风险的数字空间环境中，为现有的真实场景制作和改进对抗补丁。
作者将演示如何使用免费、开源和通用的3D建模工具来制作低成本的对抗补丁。
作者提出了一个评估过程，允许在数字空间和真实世界中重复实验。
框架步骤：1)为现实世界场景建模数字复制。2)渲染二维图像与现实的转换。3)制作对抗补丁。4)检查数字空间中的对抗补丁，并在需要时提高攻击能力。5)将补丁应用到物理场景中。
作者真实的评价设置:相机的位置(1)是由旋转平台底层层次(2),该平台位于车(3),该举措在预定义的范围(4)在一个旋转的螺旋杆(5),滑块可以向前和向后移动到三个预定义的位置(6)之一。作者可以重建现场使用杯子的标记位置(7),和补丁年代位置杯(8)。
目标场景:一个放在办公桌上的白色马克杯;(a)是真实场景的原始照片，(b)是使用Blender建模的带有空白对抗补丁(蓝色条带)的数字副本的渲染图。
对现实世界场景的意外转变;(a)显示了三个咖啡杯放在木制垫子上(从左到右:形状、原始杯子和颜色)，(b)是红色的图片:原始咖啡杯在红色垫子上有一个对抗的斑点。
在这项工作中，作者演示了如何使用3D建模和渲染工具来制作廉价的对抗补丁，对真实世界的转换是健壮的。通过创建目标场景的数字副本，作者的方法让攻击者控制场景的每个方面，包括对象、照明等。该副本模拟了现实世界的场景，从而允许攻击者在没有被检测到的风险下测试和改进攻击。作者还证明了这种灵活性可以提高补丁对真实场景中预期和意外变化的鲁棒性。此外，作者提出了一个评估过程，使其他研究人员能够重现作者的实验和验证作者的结果。作者相信这样的评估过程可以在未来的研究中使用，并有助于复制、检查和改进其他现实世界的攻击。
在未来的工作中，作者计划通过添加3D元素(如反射和法线贴图)来改进建议的框架，以支持更复杂的场景。然后，作者将使用它来定制针对其他领域的攻击，比如面部识别领域，作者的框架可以用来改善这些系统的个人隐私。作者的目的还在于制造难以察觉的干扰，从而引起较少的注意。最后，作者的结果表明，使用系统抽样的EOT框架可能比随机抽样更好，但需要额外的实验来验证这一观察结果。
论文链接：https://arxiv.org/pdf/2102.05334.pdf
每日坚持论文分享不易，如果喜欢我们的内容，希望可以推荐或者转发给周围的同学。
- END -