今日 本周 本月 三个月 半年 一年 所有
📋 全部 🤖 AI·大模型 ⚡ 效率工具 📝 深度技术 🚀 产品观察 💰 商业科技 🔓 开源项目 🎨 设计创意 📖 阅读推荐 🏷 资源合集 🌱 成长效率
2
📝 深度技术 arXiv AI 2026-05-26

CONF-KV: Confidence-Aware KV Cache Eviction with Mixed-Precision Storage for Long-Horizon LLM

利用解码步骤的置信度信号，提出混合精度存储的KV缓存逐出策略，有效缓解长序列推理中的GPU内存瓶颈。

arXiv:2605.24786v1 Announce Type: cross Abstract: Long-horizon LLM inference turns the key--value (KV) cache into the dominant GPU memory consumer and…

kv缓存 置信度感知 混合精度存储 长序列推理 内存优化

📅 日期

2026-05-20 2026-05-19