为了防止 AI 模型受误导产生错误的判断，研究人员需要经过不断的模拟攻击来确保 AI 模型不会受到欺骗。IBM 研究团队近日开源了检测模型及对抗攻击的工具箱 Adversarial Robustness Toolbox，来协助开发人员加强针对深度神经网路攻击的防御性，让 AI 系统变得更加安全。
近几年 AI 在认知问题上取得不少突破，生活中许多任务也都开始加入 AI 技术，像是辨识图像和影片中的物体、语音转文字、机器翻译等。不过，深度学习网络若受到设计过的干扰讯号影响，很容易产生错误的判断，而这类型的干扰是人类难以察觉的，有心人可能会利用这样的弱点，误导 AI 模型的判断，用于不当的行为。 Adversarial Robustness 工具箱目前主要提供增强电脑视觉辨识的防御性，给开发人员提供新型防御技术，并在实际部署 AI 模型时也能防御恶意的误导攻击，该工具箱是用 Python 撰写而成，因为 Python 是建立、测试和部署深度神经网路最常用的语言，包含了对抗和防御攻击的方法。 首先，开发人员可以用该工具箱检测深度神经网路的稳固性，主要记录了模型对不同干扰的输出结果，再透过攻击的资料集来强化 AI 模型，最后标注攻击模式和讯号，防止模型因干扰讯号，产生错误结果。 Adversarial Robustness 工具箱目前支持 TensorFlow 和 Keras，未来预计会支持更多框架，像是 PyTorch 或 MXNet，现阶段主要是提供图像识别的防御，未来将会增加更多领域的版本，像是语音识别、文字识别或和时间序列等。 来自：iThome |
