针对LLM推理中token阶段低并行度瓶颈，FastTPS提出优化方法，提升AI加速器吞吐量。
arXiv:2607.11211v1 Announce Type: new Abstract: The popularity of large language models (LLMs) escalates an ongoing demand for effective inference. Ho…
SPHBM4规范发布：HBM4内存适配低成本有机基板，性能不变成本更低，硬件开发者必看
IT之家 7 月 14 日消息，JEDEC 固态技术协会美国弗吉尼亚州当地时间 13 日正式发布了今年 6 月完成的 SPHBM4 规范。这一规范可大致认为是原版 HBM 适配标准有机基板的实现方式。 SPHBM4 采用与 HBM4 相同的 DRAM 裸片但配备全新的接口基础裸片 (Base Die…
扩散LLM推理新方法：块级连续批处理突破吞吐瓶颈，论文提出BlockServe方案优化服务效率。
arXiv:2607.08930v1 Announce Type: new Abstract: Efficient serving of diffusion large language models (dLLMs) is hindered by convergence heterogeneity:…
NVIDIA官方详解硬件感知的大模型设计，平衡吞吐量与延迟的Pareto前沿策略。
Article URL: https://developer.nvidia.com/blog/ai-model-co-design-hardware-friendly-llm-design/ Comments URL: https://news.ycombinator.com/item?id=488…
2025年，我国港口货物吞吐量183亿吨，集装箱吞吐量3.54亿标箱，稳居世界第一。（新华社）
预测性队列感知KV缓存管理方案，让LLM服务缓存命中率与吞吐量提升数倍，超越SGLang/vLLM基线。
arXiv:2607.02525v1 Announce Type: cross Abstract: We present PEEK, a lightweight scheduling and eviction framework for both online (streaming) and off…
36氪获悉，上港集团公告，6月份，公司预计完成母港集装箱吞吐量498.7万标准箱，同比增长6.1%；预计完成母港货物吞吐量5357.4万吨，同比增长3.3%。2026年上半年，公司预计累计完成母港集装箱吞吐量2873.7万标准箱，同比增长6.2%；预计累计完成母港货物吞吐量30478.0万吨，同比增…
英伟达Blackwell平台将DeepSeek V4推理单Token成本砍至1/5，吞吐量暴增20倍，AI推理效率再破纪录。
IT之家 7 月 1 日消息，英伟达昨日（6 月 30 日）发布博文，宣布在英伟达 Blackwell 平台上，通过优化全栈推理，相比较 DeepSeek V4 模型 1 个月前上线初期， 单 Token 成本最多降至五分之一。 IT之家注：单 Token 成本（Cost Per Token）指模型…
量化人类参与对LLM服务吞吐量的隐性成本，揭示人工干预如何拖累系统效率。
arXiv:2606.20577v1 Announce Type: cross Abstract: Every major LLM serving system is designed to meet TTFT and TPOT SLOs. These metrics capture latency…
上海机场公告，2026年5月浦东国际机场飞机起降量总计45297架次，同比减少2.25%；旅客吞吐量700.48万人次，同比减少0.98%；货邮吞吐量39.58万吨，同比增长18.00%。其中，境内航线旅客吞吐量383.1万人次，同比减少3.24%；境外航线旅客吞吐量317.38万人次，同比增长1.…
实测六大主流LLM视频通话应用，揭示延迟、吞吐与体验差异，为系统优化提供关键数据支撑。
arXiv:2510.00481v2 Announce Type: replace-cross Abstract: In 2025, Large Language Model (LLM) services have launched a new feature -- AI video chat --…
用卖Dosa的摊位类比，讲清LLM测试中常被忽略的吞吐量与有效吞吐量区别
Article URL: https://qainsights.com/throughput-vs-goodput-the-performance-metric-you-are-probably-ignoring-in-llm-testing/ Comments URL: https://news.…
Taalas HC1硬件实现Llama 3.1 8B每秒1.7万tokens，突破推理速度极限，硬件加速大模型新标杆。
Article URL: https://taalas.com/products/ Comments URL: https://news.ycombinator.com/item?id=48219914 Points: 3 # Comments: 1
从排队论视角揭秘LLM推理的吞吐最优调度算法，为系统优化提供数学根基
arXiv:2504.07347v3 Announce Type: replace-cross Abstract: As demand for Large Language Models (LLMs) and AI agents grows rapidly, optimizing systems f…