图书馆

杭州拱宸桥校区  8:00—21:30

绍兴杨汛桥校区  8:00—21:00

首页 / 通知公告 / 正文
【期刊导读】《计算机学报》2025年第1期
来源:计算机学报   作者:   编辑:黄求尔   时间:2025-02-24   点击数:

P1YuLan-Chat:基于多阶段课程学习的大语言模型

概述:近年来,大语言模型已成为研究热点。其在大规模数据上预训练之后,具有强大的少样本和零样本上下文学习能力,能够便捷地用于许多真实场景复杂任务。然而,对大语言模型进行从头到尾的开发和训练,可参考的实现较少;且存在较难习得的知识,如长尾知识相关数据、复杂指令、难区分的负例等。为填补该领域空白,并强化对较难掌握数据的学习,本文提出了多阶段的课程学习方法,针对以上三种典型数据,使用了:1)迭代增强长尾知识的预训练课程;(2)由简单到复杂的指令微调课程;(3)由易到难的人类对齐课程,完成了YuLan-Chat从头开始的整个训练流程。本文在四个与大语言模型基础能力和人类对齐能力相关的中英文评测基准上对YuLan-Chat进行评测,结果表明该模型能够在大部分场景下优于基线模型。分析实验进一步表明了该课程学习方法在GAOKAOAlignBench评测基准上,能够分别提升模型9.7%18.9%的答案预测准确率。

作者简介:周昆,博士,中国人民大学信息学院,主要研究领域为自然语言处理、信息检索。E-mailfrancis_kun_zhou@163.com

朱余韬,博士,博士后研究员,中国人民大学高瓴人工智能学院,主要研究领域为自然语言处理、信息检索。

引用:周昆, 朱余韬,. YuLan-Chat:基于多阶段课程学习的大语言模型[J]. 计算机学报,2025,1: 1-18.

全文:点击下载


P35《横向联邦学习:研究现状、系统应用与挑战》

概述:随着数据和算力向网络边缘下沉,人工智能应用的研发愈加依赖隐私敏感的用户数据。在这一趋势的推动下,联邦学习因其强调隐私保护的特性而逐渐成为一个广泛应用的分布式机器学习框架。作为联邦学习的原始范式,横向联邦学习(Horizontal Federated Learning,HFL)具有扩展能力强和使用场景广泛等特点,因此是近年来该领域的研究重心,同时在产业界相关需求的驱动下有着十分广泛的应用前景。横向联邦学习的研究涉及机器学习、分布式系统、无线通信和信息安全等多个学术领域,从研究动机到技术方法都呈现多样化,但现有文献未能展现相关研究现状的全貌。此外,横向联邦学习相关技术的发展催化出了一系列开源系统框架、公开数据集以及多种场景下的应用,对进一步研究与实践都具有参考价值。为此,本文对横向联邦学习的研究现状和系统应用进行综合性调研:首先,对相关文献按照研究目标和技术角度进行全面地分类梳理,从多领域视角分析了各分支的研究现状;其次,从应用实践的视角,对比分析了面向横向联邦学习的主流系统框架与代码库、描述了数据准备方法以及典型的应用场景。在此基础上,阐明了横向联邦学习算法研究和系统应用面临的6个关键挑战,为如何缩小相关研究与系统实践之间的鸿沟提供了新的参考。

作者简介:吴文泰,博 士,副教授,暨南大学信息科学技术学院,主要研究领域为协同机器学习 、分布式系统、可持续计算。E-mailwentai.wu@foxmail.com

吴应良,博 士,教 授,博士生导师,华南理工大学电子商务系,主要研究领域为信息系统、数据驱动的决策、数字生态系统。E-mailbmylwu@scut.edu.cn

引用:吴文泰, 吴应良,. 横向联邦学习:研究现状、系统应用与挑战 [J].计算机学报,2025,1: 35-67.

全文:点击下载


P82《面向YOLO神经网络的数据流架构优化研究》

概述:YOLO目标检测算法具有速度快、精度高、结构简单、性能稳定等优点,因此在多种对实时性要求较高的场景中得到广泛应用。传统的控制流架构在执行YOLO神经网络时面临计算部件利用率低、功耗高、能效较低等挑战。相较而言,数据流架构的执行模式与神经网络算法匹配度高,更能充分挖掘其中的数据并行性。然而,在数据流架构上部署YOLO神经网络时面临三个问题:(1)数据流架构的数据流图映射并不能结合YOLO神经网络中卷积层卷积核较小的特点,造成卷积运算数据复用率过低的问题,并进一步降低计算部件利用率;(2)数据流架构在算子调度时无法利用算子间结构高度耦合的特点,导致大量数据重复读取;(3)数据流架构上的数据存取与执行高度耦合、串序执行,导致数据存取延迟过高。为解决这些问题,本文设计了面向YOLO神经网络的数据流加速器DFU-Y。首先,结合卷积嵌套循环的执行模式,本文分析了小卷积核卷积运算的数据复用特征,并提出了更有利于执行单元内部数据复用的数据流图映射算法,从而整体提升卷积运行效率;然后,为充分利用结构耦合的算子间的数据复用,DFU-Y提出数据流图层次上的算子融合调度机制以减少数据存取次数、提升神经网络运行效率;最后,DFU-Y通过双缓存解耦合数据存取与执行,从而并行执行数据存取与运算,掩盖了程序间的数据传输延迟,提高了计算部件利用率。实验表明,相较数据流架构(DFU)GPU(NVIDIA Xavier NX)DFU-Y分别获得2.527倍、1.334倍的性能提升和2.658倍、3.464倍的能效提升;同时,相较YOLO专用加速器(Arria-YOLO)DFU-Y在保持较好通用性的同时,达到了其性能的72.97%、能效的87.41%

作者简介:穆宇栋,硕士研究生,处理器芯片全国重点实验室(中国科学院计算技术研究所)、中国科学院大学计算机科学与技术学院,中国计算机学会(CCF)学生会员,主要研究方向为数据流架构、数据流图映射及可重构架构。E-mailmuyudong19@mails.ucas.ac.cn

李文明,博士,副研究员, 处理器芯片全国重点实验室(中国科学院计算技术研究所)、中国科学院大学计算机科学与技术学院,中国计算机学会(CCF)会员,主要研究领域为髙通量处理器架构、数据流体系结构。

引用:穆宇栋, 李文明,. 面向YOLO神经网络的数据流架构优化研究[J].计算机学报,2025,1: 82-99.

全文:点击下载


P100《机器学习赋能的多维数据查询处理研究综述》

概述:多维数据的查询和处理在数据库中普遍存在。高效的多维数据查询处理,一方面依赖于精细的索引结构,例如R-treeKD-tree等被广泛应用;另一方面,也有诸多工作探索利用硬件优势设计高效的数据布局,即研究面向扫描的数据处理策略以及构建数据概要,避免高代价地访问原始数据。然而,随着数字化社会的发展,网络Web服务更加普及,传感器网络无处不在,诸如网约车、电子地图等基于位置的服务愈发盛行,使得多维数据正在以前所未有的速度产生,对查询处理提出新的要求,包括更快的查询响应、更低的存储占用。近年来,机器学习包括深度学习算法不断优化,且计算机等硬件环境持续发展,为多维数据查询处理带来更多的优化契机,不仅降低查询执行时间,同时能够节省存储资源,取得显著性优势。因此,机器学习被广泛应用于构建更好的数据管理和数据分析任务解决方案。该文提出机器学习赋能的多维数据查询处理研究框架,一方面介绍机器学习模型对多维索引结构的优化和改进;另一方面,介绍机器学习对不依赖索引结构的查询处理任务的赋能研究,包括数据布局策略和数据概要研究。在总结已有研究现状的基础上,指出该领域面临的挑战和未来研究方向

作者简介:马超红,博士研究生,中国人民大学信息学院,主要研究方向为机器学习化数据库系统、学习化索引及数据管理。E-mailchaohma@ruc.edu.cn

郝新丽,博士研究生,中国人民大学信息学院,主要研究方向为智能科学发现、时间序列分析和可解释机器学习。

引用:马超红,郝新丽,.机器学习赋能的多维数据查询处理研究综述[J].计算机学报,2025,1: 100-123.

全文:点击下载


P156《离线强化学习研究综述》

概述:离线强化学习也称为批量强化学习,是深度强化学习领域的一项重要研究内容。它利用行为策略生成静态数据集,无需在线和环境交互,成功地将大规模数据集转变成强大的决策引擎。近年来,离线强化学习方法得到了广泛关注和深入研究,并在实际应用中取得了瞩目的成绩。目前,该方法已经用于推荐系统、导航驾驶、自然语言处理、机器人控制以及医疗与能源等应用领域,并被看作是现实世界应用强化学习最具潜力的技术途径之一。该文首先介绍了离线强化学习的背景与理论基础。随后从求解思路出发,将离线强化学习方法分为无模型、基于模型和基于Transformer模型3大类,并对各类方法的研究现状与发展趋势进行分析。同时,对比了目前3个最流行的实验环境D4RLRL UnpluggedNeoRL。进而介绍了离线强化学习技术在现实世界诸多领域的应用。最后,对离线强化学习进行总结与展望,以此推动更多该领域的研究工作

作者简介:乌兰,博士研究生,苏州大学计算机科学与技术学院,中国计算机学会(CCF)会员,主要研究方向为深度强化学习、离线强化学习。E-mail20217927001@stu.suda.edu.cn

刘全,博士,教授,苏州大学计算机科学与技术学院,中国计算机学会(CCF)髙级会员,主要研究领域为深度强化学习、自动推理。E-mailquanliu@suda.edu.cn

引用:乌兰, 刘全,. 离线强化学习研究综述[J].计算机学报,2025,1:156-187.

全文:点击下载