普通电脑也能跑744B参数大模型！colibri开源工具让25GB内存畅玩GLM-5.2。
colibri 是一个非常实用的开源项目，它能让普通电脑也能运行超大语言模型（GLM-5.2（744B），并且可以在无显卡的情况下，仅使用 CPU，但需要至少25G 内存。@Appinn 普通电脑跑 GLM-5.2（744B）模型 colibri 使用纯 C 语言，零依赖。可以按需从硬盘加载 Exp
新论文提出UMoE方法，在领域特定训练中激活每个专家，突破传统MoE路径选择限制，提升模型适应性与效率。
arXiv:2607.11444v1 Announce Type: new Abstract: Mixture-of-Experts (MoE) models scale capacity without proportional compute cost and have become a key…
在慢速电脑上运行744B参数的GLM-5.2模型，实测不同精度下多token预测头的性能表现。
A few days ago I found myself trying out GLM 5.2 and was really positively impressed. The capabilities and security I was getting from this LLM are si…
全球首个基于MoE架构的开源具身视频基模，蚂蚁灵波LingBot-Video填补领域空白
70多位作者联合发布Nemotron混合MoE大模型压缩方案，大幅降低推理成本且保持性能。
arXiv:2607.04371v1 Announce Type: new Abstract: We present Nemotron-Labs-3-Puzzle-75B-A9B, a compressed variant of Nemotron-3-Super optimized for inte…
提出一种最优混合专家模型平均方法，提升条件生成模型的性能和稳定性，理论扎实。
arXiv:2607.04360v1 Announce Type: cross Abstract: Conditional generative models have emerged as powerful tools for sampling from target conditional di…
国产GPU摩尔线程在美团万亿参数大模型开源当天即完成极速适配，展现Day-0支持能力。
IT之家 7 月 6 日消息，今天，美团将万亿参数大模型 LongCat-2.0 正式开源。摩尔线程随后宣布，基于 AI 训推一体全功能 GPU 智算卡 MTT S5000 及 MUSA 软件栈， 已完成对该模型的快速适配 。 ▲ LongCat-2.0 模型在 MTT S5000 上运行 据介绍，…
单卡10GB显存就能跑满血DeepSeek-R1-671B，支持全系N卡/A卡甚至国产卡，MOE混合推理更是绝活。
Article URL: https://github.com/ztxz16/fastllm Comments URL: https://news.ycombinator.com/item?id=48728290 Points: 3 # Comments: 0
Sand.ai获超亿美元融资，曹越详解为何视频是通往世界模型的关键路径
“每一代模型，我们都在押注一个非共识。” 文｜邓咏仪 编辑｜张雨忻 Sand.ai 创始人曹越，不太关心自己站在共识的哪一边。 Sand.ai 是一家视频生成模型和产品公司，成立于2024年1月。曹越创立Sand.ai 的故事也已经被讲过很多遍：在上一段创业“光年之外”戛然而止后，曹越很快就投入到 …
一行import即可加速MoE微调3.7倍，英伟达开源NeMo AutoModel，降低内存占用超30%，轻松提升训练效率。
在Transformers v5的基础上，增加了专家并行、DeepEP和TransformerEngine
苹果四台 Mac Studio 集群突破万亿参数大模型推理，硬件共享内存技术成关键。
IT之家 6 月 20 日消息，在苹果 WWDC 2026 期间，LM Studio 与苹果合作在四台 Mac Studio 集群上成功运行起了月之暗面万亿参数大模型 Kimi K2.6，并通过 LM Link 实现从 MacBook Neo 和 iPhone 的安全远程访问。 IT之家此前报道，K…
前沿AI实验室的看空理由：未来性能提升依赖架构创新而非秘密科学，算力军备竞赛或遇瓶颈。
Article URL: https://www.parand.com/the-bear-case-for-frontier-ai-labs.html Comments URL: https://news.ycombinator.com/item?id=48504435 Points: 2 # Co…
MoE大模型专家剪枝新方法，梯形剪枝保留路由拓扑，大幅压缩静态参数占用。
arXiv:2606.09885v1 Announce Type: new Abstract: Mixture-of-Experts large language models (LLMs) scale efficiently through sparse activation, yet their…
提出LongMoE模型，用轨迹感知混合专家机制应对多模态临床数据的任意模态缺失挑战。
arXiv:2606.09907v1 Announce Type: cross Abstract: Multimodal clinical learning is increasingly important for integrating diverse patient data, includi…
稀疏MoE大模型部署新突破：引入联盟感知策略的专家剪枝方法
arXiv:2606.09886v1 Announce Type: cross Abstract: Sparse Mixture-of-Experts (MoE) large language models achieve strong quality with low per-token comp…
提出动态核心空间合并方法，大幅降低混合LoRA专家模型的内存占用与计算开销
arXiv:2603.00573v2 Announce Type: replace Abstract: Large language models (LLMs) achieve remarkable performance on diverse downstream and domain-speci…
揭示模型合并对MoE路由的破坏机制，提出无需训练的高效校准方案，为混合专家模型优化提供新思路。
arXiv:2606.03391v1 Announce Type: cross Abstract: Model merging has emerged as a cost-effective approach for consolidating the capabilities of multipl…
混合专家模型量化新方法：基于频谱能量引导的自适应比特分配，显著提升压缩效率与模型性能。
arXiv:2606.00079v1 Announce Type: new Abstract: Mixture-of-Experts (MoE) large language models reduce per-token computation through sparse expert acti…
用可微分最优传输优化MoE架构，提升大模型推理效率且训练更稳定。
arXiv:2606.01666v1 Announce Type: new Abstract: The scaling of Large Language Models (LLMs) has driven significant performance gains but created subst…