[导读] 为了防止AI模型受误导产生错误的判断，研究人员需要经过不断的模拟攻击来确保AI模型不会受到欺骗。IBM 研究团队近日开源了检测模型及对抗攻击的工具箱 Adversarial Robustness Toolbox，来协助开发人员加强针对深度神经网路攻击的防御性，让AI系统变得更加安全。
为了防止AI模型受误导产生错误的判断，研究人员需要经过不断的模拟攻击来确保AI模型不会受到欺骗。IBM 研究团队近日开源了检测模型及对抗攻击的工具箱 Adversarial Robustness Toolbox，来协助开发人员加强针对深度神经网路攻击的防御性，让AI系统变得更加安全。
近几年AI在认知问题上取得不少突破，生活中许多任务也都开始加入AI技术，像是辨识图像和影片中的物体、语音转文字、机器翻译等。不过，深度学习网络若受到设计过的干扰讯号影响，很容易产生错误的判断，而这类型的干扰是人类难以察觉的，有心人可能会利用这样的弱点，误导AI模型的判断，用于不当的行为。
Adversarial Robustness工具箱目前主要提供增强电脑视觉辨识的防御性，给开发人员提供新型防御技术，并在实际部署AI模型时也能防御恶意的误导攻击，该工具箱是用Python 撰写而成，因为Python是建立、测试和部署深度神经网路最常用的语言，包含了对抗和防御攻击的方法。
首先，开发人员可以用该工具箱检测深度神经网路的稳固性，主要记录了模型对不同干扰的输出结果，再透过攻击的资料集来强化AI 模型，最后标注攻击模式和讯号，防止模型因干扰讯号，产生错误结果。
Adversarial Robustness工具箱目前支持 TensorFlow 和 Keras，未来预计会支持更多框架，像是 PyTorch 或 MXNet，现阶段主要是提供图像识别的防御，未来将会增加更多领域的版本，像是语音识别、文字识别或和时间序列等。
