推理成本仅为顶级闭源模型的 1/10:英伟达 Nemotron 3 Ultra 获开源模型最高准确率
IT之家 7 月 9 日消息,英伟达昨日(7 月 8 日)发布博文,宣布在 LangChain 的 Deep Agents benchmark(深度智能体基准)测试中,旗下 NVIDIA Nemotron 3 Ultra 取得开源模型最高准确率。 IT之家注:Deep Agents 是具备多步推理、…
IT之家 7 月 9 日消息,英伟达昨日(7 月 8 日)发布博文,宣布在 LangChain 的 Deep Agents benchmark(深度智能体基准)测试中,旗下 NVIDIA Nemotron 3 Ultra 取得开源模型最高准确率。 IT之家注:Deep Agents 是具备多步推理、…
OpenAI 通过系统底层优化让 AI 模型推理成本骤降一半,技术突破直接利好实际应用。
IT之家 6 月 30 日消息,据 The Information 报道,OpenAI 工程师在内部透露,公司已通过一系列全新的系统底层优化,成功将 AI 模型的推理(运行)成本降低了 50% 以上。 据IT之家了解,推理成本指的是模型在实际运行并响应用户请求时所消耗的计算资源。 此次优化主要得益于…
富国银行报告透露,亚马逊AWS打算采购高通AI200芯片来降低AI推理成本,性价比优势明显。
IT之家 6 月 14 日消息,据 Wccftech 报道,富国银行 (Wells Fargo) 的最新研究报告指出,高通有望深化与亚马逊旗下 AWS 部门在人工智能芯片领域的合作关系, 为亚马逊 AWS 提供 AI200 等新一代 AI 芯片产品 。 报告称这项合作符合 AWS 通过自研或第三方定…
小米 MiMo API 以极致稀疏比实现低成本推理,永久降价高达 99%,兼顾 AI 对话、语音识别与合成,是性价比超高的模型服务。
IT之家 5 月 28 日消息,小米 MiMo 官方昨日宣布, 小米 MiMo-V2.5 系列 API 永久降价 ,相比原始 API 定价,新定价最高降幅可达 99%,且不再区分上下文窗口长度。 小米 MiMo 负责人罗福莉随后在 X 平台发文,谈到了 MiMo API 降价的技术原因,IT之家附罗…
重新审视大模型剪枝后微调的必要性,挑战复杂剪枝标准,提出更高效的压缩策略。
arXiv:2510.14444v3 Announce Type: replace Abstract: Post-training pruning can substantially reduce LLM inference costs, but it often degrades quality …
2026年AI推理成本将飙升,GitHub Copilot率先转向用量计费,企业预算面临调整。
Article URL: https://blog.herlein.com/post/ai-inference-costs-reality-check/ Comments URL: https://news.ycombinator.com/item?id=48211362 Points: 1 # C…
论文提出早停链式思维方法,减少大模型推理成本,无需白盒干预。
arXiv:2509.14004v2 Announce Type: replace Abstract: Reasoning large language models (LLMs) have demonstrated superior capacities in solving complicate…