1
Prefill vs. Decode in LLM Inference
洞悉LLM推理中预填充与解码的差异，精准优化首字延迟与流式吞吐。
Article URL: https://www.parasail.io/blog/prefill-vs-decode-llm-inference Comments URL: https://news.ycombinator.com/item?id=49299992 Points: 2 # Comm…
2
腾讯混元提出 Stem 稀疏注意力算法，首字延迟降低 3.6 倍
腾讯混元提出Stem稀疏注意力算法，从因果信息流革新块稀疏，首字延迟降低3.6倍，已被ICML-26收录。
IT之家 6 月 5 日消息，腾讯混元今日宣布提出 Stem 稀疏注意力算法，已被机器学习顶会 ICML-26 收录。 官方表示，Stem 稀疏注意力算法从“因果信息流”重新审视块级稀疏，用 Token 位置衰减（TPD）和输出感知度量（OAM）两大创新， 仅用 25% 算力就逼近稠密注意力的精度 …