文章1：《自然语言处理中的探针可解释方法综述》

概述：随着大规模预训练模型的广泛应用，自然语言处理的多个领域（如文本分类和机器翻译）取得了长足的发展。然而，受限于预训练模型的“黑盒”特性，其内部的决策模式以及编码的知识信息被认为是不透明的。以Open AI发布的Chat GPT和GPT-4为代表的先进预训练模型为例，它们在多个领域取得重大性能突破的同时，由于无法获知其内部是否真正编码了人们期望的知识或语言属性，以及是否潜藏一些不期望的歧视或偏见，因此仍然无法将其应用于重视安全性和公平性的领域。近年来，一种新颖的可解释性方法“探针任务”有望提升人们对预训练模型各层编码的语言属性的理解。探针任务通过在模型的某一区域训练辅助语言任务，来检验该区域是否编码了感兴趣的语言属性。例如，现有研究通过冻结模型参数并在不同层训练探针任务，已经证明预训练模型在低层编码了更多词性属性而在高层编码了更多语义属性，但由于预训练数据的毒性，很有可能在参数中编码了大量有害内容。该文首先介绍了探针任务的基本框架，包括任务的定义和基本流程；然后对自然语言处理中现有的探针任务方法进行了系统性的归纳与总结，包括最常用的诊断分类器以及由此衍生出的其他探针方法，为读者提供设计合理探针任务的思路；接着从对比和控制的角度介绍如何解释探针任务的实验结果，以说明探测位置编码感兴趣属性的程度；最后对探针任务的主要应用和未来的关键研究方向进行展望，并讨论了当前探针任务亟待解决的问题与挑战。

作者简介：鞠天杰，博士研究生，中国计算机学会(CCF)会员，主要研究领域为自然语言处理、深度学习可解释性。E-mail:jometeorie@sjtu.ed u.cn。

刘功申，博士，教授，中国计算机学会(CCF)会员，主要研究领域为人工智能安全、自然语言处理。E-mail:lgshen@sjtu.edu .cn。

引用：鞠天杰,刘功申,张倬胜,张茹.自然语言处理中的探针可解释方法综述[J]. 计算机学报,2024,4: 733-758.

全文：点击下载

文章2：《视觉提示学习综述》

概述：近年来，随着提示学习方法在自然语言处理领域被提出，其日益受到研究人员广泛关注。它通过将各类下游任务重构成预训练任务的形式，以参数高效和数据高效的方式将大规模预训练模型应用在各类自然语言相关下游任务中。其中以GPT系列为代表的模型通过提示学习在对话生成和多模态图文理解等任务上取得了巨大的成功。然而，这类模型及方法还不能解决视觉中的稠密任务。受此启发，一些研究人员逐渐将提示学习广泛应用到视觉相关的各类任务当中，如图像识别、目标检测、图像分割、领域适应、持续学习等。由于目前还没有提示学习应用在视觉相关领域中的综述，本文将对视觉单模态领域以及视觉语言多模态领域的提示学习方法展开全面论述和分析。作为回顾，首先简要介绍自然语言处理领域的预训练模型，并对提示学习的基本概念、下游应用形式以及提示模板类型进行阐述和分类。其次，分别介绍视觉单模态领域以及视觉语言多模态领域里提示学习方法适配的预训练模型和任务。再次，分别介绍视觉单模态领域以及视觉语言多模态领域的提示学习方法。在自然语言处理领域，提示学习方法以继承预训练形式实现多任务统一为主要目的；与此不同，在视觉相关领域，提示学习方法侧重于面向特定下游任务进行设计。为此，将从方法设计上进行简单分类，然后从应用任务角度详细介绍视觉单模态提示学习和视觉语言多模态提示学习方法。最后，对比分析了自然语言处理领域和视觉相关领域提示学习研究的进展，并对未来研究路线给出了展望。

作者简介：廖 宁，博士研究生，主要研究领域为多模态大模型、提示/指令学习、开放集识别。E-mail:liaoning@sjtu.edu.cn。

曹 敏，博士，副教授，中国计算机学会(CCF)会员，主要研究领域为视觉语言学习、异常检测。

严骏驰，博士，教授，中国计算机学会(CCF)杰出会员，主要研究领域为机器学习及与组合优化、量子计算的交叉。E-mail:yanjunchi@sjtu.edu.cn。

引用：廖宁,曹敏,严骏驰.视觉提示学习综述[J].计算机学报,2024,4: 790-820.

全文：点击下载

文章3：《抗拜占庭攻击的隐私保护联邦学习》

概述：联邦学习是一种隐私保护的分布式机器学习框架，可以让各方参与者在不披露本地数据的前提下共建模型。然而，联邦学习仍然面临拜占庭攻击和用户隐私泄漏等威胁。现有研究结合鲁棒聚合规则和安全计算技术以同时应对上述安全威胁，但是这些方案难以兼顾模型鲁棒性与计算高效性。针对此问题，本文提出一种抗拜占庭攻击的隐私保护联邦学习框架Sec FedDMC，在保护用户数据隐私的条件下实现高效的拜占庭攻击检测与防御。基础方案Fed DMC采用“先降维后聚类”的策略，设计了高效精准的恶意客户端检测方法。此外，该方法利用的随机主成分分析降维技术和K-均值聚类技术主要由线性运算构成，从而优化了算法在安全计算环境中的适用性。针对基础方案存在的用户数据隐私泄露问题，提出了基于安全多方计算技术的隐私增强方案Sec FedDMC。基于轻量级加法秘密分享技术，设计安全的正交三角分解协议和安全的特征分解协议，从而构建双服务器模型下隐私保护的拜占庭鲁棒联邦学习方案，以保护模型训练和拜占庭节点识别过程中的用户隐私。经实验验证，Sec FedDMC在保护用户隐私的前提下，可以高效准确地识别拜占庭攻击节点，具有较好的鲁棒性。其中，本方案与最先进的鲁棒联邦学习算法相比，在CIFAR10数据集上，拜占庭攻击节点检测准确率提升12%～24%，全局模型精度提升4.45%～18.48%，计算效率提升33.21%～47.31%。

作者简介：穆旭彤，博士研究生，中国计算机学会(CCF)学生会员，主要研究领域为联邦学习、安全多方计算。 E-mail:xtmu@stu.xidian.edu. cn。

程 珂，博士，讲师，主要研究领域为隐私保护机器学习。E-mail:chengke@xidian.edu.cn。

沈玉龙，博士，教授，主要研究领域为云计算与数据安全、无线网络安全。E-mail:ylshen@mail.xidian.edu.cn。

引用：穆旭彤,程珂,宋安霄,等.抗拜占庭攻击的隐私保护联邦学习[J] .计算机学报,2024,4: 842-861.

全文：点击下载