【学术报告】更快且更轻的Muon优化器用于大模型的预训练

报告题目：更快且更轻的Muon优化器用于大模型的预训练

报告人： 黄飞虎

报告时间： 2026年11月2日10：30

报告地点： 计算机楼B518

摘要:2024年底提出的Muon优化器为一类非常有效的矩阵型优化器，其在大模型预训练的表现显著地超过默认优化器Adam/AdamW。近一年来有许多代表性的大模型（如DeepSeek V4, Kimi K2与YOLO26等）均用Muon优化器训练的，但是当前Muon优化器及其一些变体依然需要较高的样本复杂度与较高的状态内存。因此，我们提出一类快且轻的Muon优化器（LiMuon优化器）。同时，把LiMuon优化器推广到联邦学习场景，提出了FedLiMuon优化器用于大模型预训练，获得一类更快、更轻且通讯更高效的联邦学习算法。

报告人简介：黄飞虎，南京航空航天大学计算机科学与技术学院/软件学院教授，博导。2022年获得国家高层次青年人才（海外优青）。近些年其主要研究机器学习、高效优化、大模型高效训练与推理、分布式学习与可信人工智能,已有近50篇论文发表在人工智能与机器学习国际顶级期刊与会议包括JMLR、IEEE TPAMI、ICML、NeurIPS、ICLR、AAAI，CVPR与ICCV等。其主持了3项国家级项目。近些年担任了人工智能与机器学习国际顶级会议如NeurIPS、ICLR等领域主席。目前也担任中国计算机学会（CCF）人工智能与模式识别专委会的执行委员，与中国人工智能学会（CCAI）机器学习专委会的委员。