Claude口碑下滑后，开发者转向Codex，求推荐高性价比LLM订阅与服务提供商。
I used to use Claude code but obviously they gone downhill for the last 2 to 3 months. I switched to Codex and have been happy with it. Curious what o…
GitHub Models 正式退役，作者改用 OpenAI 限月额 API 与 GPT-5.6 Luna 生成摘要，模型服务市场动态值得关注。
GitHub Models is now retired I missed this news until today, when the GitHub Actions run for my simonw/research repository failed with this error mess…
国家超算互联网正式上线DeepSeek-V4-Flash API，国内开发者可一键接入，性能比肩顶尖闭源模型，Pro版也即将到来。
IT之家 8 月 2 日消息，7 月 31 日，DeepSeek 官宣 DeepSeek-V4-Flash 正式版 API 开启公测。 国家超算互联网 正式上线 DeepSeek-V4-Flash 正式版（DeepSeek-V4-Flash-0731）模型 API 调用服务和模型文件。 据介绍，De…
从故障域设计切入网格LLM运营，而非依赖免费GPU，揭示分布式系统可靠性的实战关键
Mesh LLM reached 215 points in the Hacker News snapshot I reviewed at 2026-07-12 08:00 UTC . Its author describes an OpenAI-compatible API that can ru…
从数据驱动角度优化分布式LLM-Adapter服务的GPU效率，揭示性能瓶颈与调优策略，适合关注大模型推理成本的技术团队。
arXiv:2602.24044v2 Announce Type: replace-cross Abstract: Large Language Model (LLM) adapters enable low-cost model specialization, but introduce comp…
冷MoE模型多LLM服务新方案，KV-Cache与权重分离双管齐下，性能瓶颈有望突破。
arXiv:2606.24506v1 Announce Type: cross Abstract: Emerging LLM services increasingly host many sparse MoE models, yet most models receive sparse reque…
面向物理AI的图绑定执行状态检查点技术，对标KV缓存实现低延迟小批量服务，值得关注。
arXiv:2606.20537v1 Announce Type: new Abstract: Mainstream LLM serving systems reuse prefix work mainly through paged or radix key-value (KV) caches. …
国家级算力平台接入国产大模型GLM-5.2，加速AI应用落地。
36氪获悉，智谱全新旗舰大模型GLM-5.2今日正式开源，当日国家超算互联网同步上线GLM-5.2模型API调用服务及模型文件。目前超算互联网AI社区已汇集1400余款开源大模型，GLM全系列、DeepSeek-V4、MiniMax-M3、Kimi-K2.6等国产模型API均已上线。
三大运营商联合上架标准化AI词元产品，基于GLM-5和DeepSeek模型，覆盖开发与日常场景
IT之家 6 月 5 日消息，6 月 3 日，中国信通院宣布中国电信、中国移动、中国联通的“词元产品”服务已正式登陆中国算力平台。 据介绍， 词元（Token）是大模型处理信息的最小信息单元 ，具有智能时代可计量、可定价、可交易的特征。当下，围绕词元的调用、分发与结算，一套新的价值体系正在加速演进形…
提出ReLoRA方法，解决LLM服务更新时LoRA适配器重复训练问题，大幅提升模型快速部署效率。
arXiv:2606.02606v1 Announce Type: cross Abstract: Large Language Models (LLMs) are increasingly deployed as continuously evolving services, where freq…
探索基于策略驱动的运行时层，为Agentic LLM服务提供高效可扩展的系统架构方案
arXiv:2605.27744v1 Announce Type: new Abstract: Multi-agent LLM systems have become the dominant production workload, but the serving stack was not bu…
面向共享GPU集群，提出连续自适应方法优化大模型服务SLO，降低延迟与成本
arXiv:2604.16400v2 Announce Type: replace-cross Abstract: As Large Language Models (LLMs) are increasingly adopted in edge intelligence to power domai…
一篇关于通过KV缓存共享加速大型推理模型服务的系统优化论文，解决推理内存瓶颈问题。
arXiv:2507.21433v3 Announce Type: replace-cross Abstract: Large Reasoning Models (LRMs) are becoming integral to many AI inference systems, enhancing …