华为开源的盘古2.0大模型，最高505B参数但仅激活18B，高效混合专家架构降低算力需求，适合开发者低成本部署。
IT之家 6 月 12 日消息，在今日的华为开发者大会 HDC 2026 主题演讲中，华为常务董事、产品投资评审委员会主任、终端 BG 董事长余承东正式发布 开源盘古 openPangu 2.0 。 openPangu 2.0 模型拥有 512K 上下文， 包括 Pro 和 Flash 两个版本 ：…
提出动态logit级门控机制，优化LLM专家路由效率，大幅降低推理成本。
arXiv:2606.04378v1 Announce Type: new Abstract: Leveraging multiple specialized LLMs can combine complementary strengths, but existing approaches trad…
用可微分最优传输优化MoE架构，提升大模型推理效率且训练更稳定。
arXiv:2606.01666v1 Announce Type: new Abstract: The scaling of Large Language Models (LLMs) has driven significant performance gains but created subst…
无需训练即可避免路由坍缩，专家特征向量为MoE提供高效非学习路由方案。
arXiv:2605.30992v1 Announce Type: new Abstract: Sparse Mixture of Experts (SMoE) architectures improve the training efficiency of Large Language Model…
用博弈论纳什协商机制为稀疏混合专家模型设计专家合并权重，理论新颖且实操性强。
arXiv:2510.16138v2 Announce Type: replace Abstract: Existing expert merging strategies for Sparse Mixture of Experts (SMoE) typically rely on input-de…
英伟达推出5500亿参数Nemotron 3 Ultra开源模型，推理速度飙升5倍，还带来首个开源量子AI模型，硬核技术双响炮。
IT之家 6 月 1 日消息，为加强自主智能体的智能能力，英伟达今日发布了面向全天候运行智能体的全新开源模型与数据集，相关成果由英伟达 Nemotron 联盟联合打造。 据官方介绍，英伟达 Nemotron 3 Ultra 是一款拥有 5500 亿参数的混合专家模型，可为代码开发、科研及企业业务流程…
首个将混合专家模型高效部署到移动设备上的架构，实现低延迟与资源友好的AI推理。
arXiv:2605.27358v1 Announce Type: cross Abstract: Mixture-of-Experts (MoE) has become the de facto architecture for hundred-billion-parameter language…
混合专家模型搬上太空网络，分布式推理的硬核尝试，论文新思路值得关注
arXiv:2605.00515v2 Announce Type: replace-cross Abstract: Leveraging continuous solar energy harvesting at high efficiency, space data centers are env…
持续学习新突破：提出一致性保持混合专家模型，有效解决灾难性遗忘问题。
arXiv:2605.20247v1 Announce Type: new Abstract: Catastrophic forgetting remains a major obstacle to continual learning in large language models (LLMs)…
最新研究：后训练MoE模型通过自蒸馏跳过一半专家，无需从头预训练，显著降低计算量。
arXiv:2605.18643v1 Announce Type: new Abstract: Mixture-of-Experts (MoE) scales language models efficiently through sparse expert activation, and its …
用混合专家模型引导功能网络先验，脑解码准确性与可解释性双提升
arXiv:2605.19279v1 Announce Type: new Abstract: Visual image reconstruction from functional Magnetic Resonance Imaging (fMRI) is a fundamental task in…
全新方法利用MoE正交生长，大幅节省LLM预训练成本，突破沉没成本陷阱。
arXiv:2510.08008v2 Announce Type: replace Abstract: As the computational demands for pre-training Large Language Models (LLMs) continue to surge, the …