近日，在上海市经济和信息化委员会、上海推进科技创新中心建设办公室、上海市科学技术协会的指导下，由上海市科学技术协会人工智能专委会主办，达观数据承办的“科技创新·智慧赋能—2020人工智能与数字化发展峰会”在上海科学会堂成功举办。多位行业专家齐聚一堂，从人工智能不同的发展视角分享了各自领域的最新研究进展与应用。
复旦大学计算机科学技术学院院长姜育刚以人工智能安全为主题，和大家分享了《人工智能发展趋势与若干安全问题初探》。
大会现场，姜院长从人工智能安全的研究背景、目前技术现状、近期正在进行的研究工作以及对未来的发展趋势展望几个部分，和大家分享了AI安全的最新研究成果。
在人工智能的安全隐患上，姜院长围绕对抗样本和后门攻击两种类型，对其安全问题做了详细的介绍。那么，如何防御对抗样本呢？现阶段，主要分为三种对抗样本防御方法：对抗样本检测，去噪和对抗训练。
1.在对抗样本检测中，训练二分类器来区分输入样本是否为对抗样本，但该方法的通用性太低；
2.在去噪方法中，通过训练去噪器来实现对抗样本的还原，使得模型对去噪后的输入样本进行正确预测，但该方法的效率太低，针对不同的攻击方式要训练特定的去噪器。
3.在对抗训练方法中，将对抗样本作为训练样本，在训练模型过程中学习对抗样本的知识，提高模型的鲁棒性。但该方法的训练复杂度太高。
姜院长表示，在防御方面，还需要研究通用性强，效率高的对抗样本防御方法。
现场姜院长介绍了其最近的研究成果：为了提高攻击效率以及攻击成功率，他及团队提出了第一个面向视频数据的黑盒攻击框架。所提出的框架图如上图中所示。
该框架主要利用对抗扰动的迁移性，将图像预训练模型中得到的扰动作为视频帧的初始扰动，并在此基础上利用自然进化策略来对这些初始扰动噪声进行纠正。其中自然进化是一种黑箱优化算法，该方法的核心思想是使用搜索梯度来更新搜索分布的参数。当得到针对视频域特殊纠正后的梯度信息后，采用投影梯度下降来对输入视频进行更新。投影梯度下降是将超过一定范围的噪声重新映射到范围内。这些操作将迭代进行。
在谈及未来人工智能发展的安全问题时，姜院长表示，技术在人工智能伦理问题检测以及相应规则落实上也将发挥重要的作用。针对模型安全，发展对抗攻防理论设计更加鲁棒的智能模型，确保智能系统在复杂环境下的安全运行，形成人工智能安全评估和管控能力。
针对隐私保护，发展联邦学习及差分隐私等理论与技术，规范智能系统分析和使用数据的行为，保障数据所有者的隐私。针对智能系统决策的可解释性问题，发展机器学习可解释性理论与技术，提升智能算法决策流程的人类可理解性，建立可审查、可回溯、可推演的透明监管机制。此外，针对智能系统决策的公平性问题，可以利用统计学理论与技术，消除算法与数据中的歧视性偏差，构建无偏见的人工智能系统。
最后，为了保证人工智能技术不被滥用，可以通过发展大数据计算与模式识别等理论与技术，预防、检测、监管智能技术被滥用的情况，以此创造有益于人类福祉的人工智能应用生态。
