WnW: Waxing-and-Waning KV Cache for Long-Form Speech LLMs
针对长语音大模型KV缓存膨胀问题,提出WnW动态增减机制,让长语音推理更省显存、更流畅。
arXiv:2608.22704v1 Announce Type: new Abstract: Long-form audio inputs make the KV cache the dominant memory cost of speech LLMs. Prefill-only KV comp…
《使命召唤:现代战争 4》Beta 测试版 PC 配置公布:3GB 显存显卡也能玩
IT之家 8 月 20 日消息,《使命召唤:现代战争 4》Beta 测试官宣即将开放,玩家除了可以体验系列传统的多人模式,还能提前试玩部分单人战役。 第一阶段从 8 月 21 日持续至 8 月 25 日 ,仅向已经在 PC、PS5 或 Xbox Series X|S 预购游戏的玩家开放抢先体验。 第…
蓝戟 Arc Pro B65 TF 32G 专业显卡上架,官方零售价 8999 元
Intel Arc Pro B65 专业显卡上架,32G 显存配 AI 生成实测数据,性能直观可见。
IT之家 8 月 17 日消息,蓝戟 (GUNNIR) 今日宣布,其此前公布的 Intel Arc Pro B65 TF 32G 专业显卡现已上架电商平台, 官方零售价 8999 元 。 Arc Pro B65 TF 32G 三维 268 × 111.1 × 40.1 (mm),属于 全高全长双槽 …
Show HN: Shoehorn, a library to quantize an LLM to fit your Mac's VRAM
一键按显存容量精准量化 LLM,告别加载失败,适配你的 Mac。
I made this after seeing someone posit the idea online yesterday over lunch then spent some time refining it. So far it's pretty impressive IMO! Right…
英伟达 RTX 4080 魔改 32GB 显存涡轮显卡现身闲鱼
IT之家 8 月 11 日消息,改装版英伟达 GeForce RTX 40 系列显卡市场再迎新品。 多个 RTX 4080 涡轮显卡(显存从 16GB 升级到 32GB GDDR6X) 出现在闲鱼平台,售价普遍超过 1 万元。 RTX 4080 原本配备 16GB GDDR6X 显存,位宽为 256…
Meta 开源 30B AI 模型 Muse Glimmer,4bit 量化可在单卡 24GB 显存 GPU 运行
IT之家 8 月 10 日消息,Meta 今日发布 AI 模型 Muse Glimmer,并在 Apache 2.0 许可协议下开源该模型权重。Muse Glimmer 是一款拥有 300 亿参数(30B) 的模型,专为全天候常驻运行的本地智能体(Agent)工作流深度优化。 官方表示,Muse G…
AirLLM 70B inference with single 4GB GPU
单张4GB显卡就能跑70B大模型推理,AirLLM把内存优化玩到了极致,开源即用
Article URL: https://github.com/lyogavin/airllm Comments URL: https://news.ycombinator.com/item?id=49154228 Points: 204 # Comments: 76
AirLLM Runs a 70B Model on a 4GB GPU. It's True, and That's Not the Interesting Part
70B大模型跑进4GB显存,不靠量化保住全精度,原理比结果更惊艳
AirLLM's README opens with a line that sounds like it can't be true: AirLLM dramatically reduces inference memory usage, letting 70B large language mo…
Show HN: Minimal LLM Post-Training Experiments on an 8GB GPU (SFT, DPO, GRPO)
只需8GB显存,就能跑通SFT、DPO、GRPO全流程,轻松理解DeepSeek-R1背后的推理训练奥秘。
Article URL: https://github.com/pochenai/nano-llm-posttraining Comments URL: https://news.ycombinator.com/item?id=49133851 Points: 6 # Comments: 0
Testing LLM Concurrency on Consumer Hardware (RTX 5060)
RTX 5060 八张显存实测 19 款模型并发推理,最高提速 8.7 倍,小显存本地部署选手的硬核参考。
Article URL: https://ai.2it.onl/posts/concurrency-sweep/ Comments URL: https://news.ycombinator.com/item?id=49141833 Points: 2 # Comments: 0
Steam 2026 年 7 月软硬件调查报告发布:RTX 3060 仍居榜首,16GB 显存占比大涨
Steam七月数据出炉:RTX 3060仍是王,16GB显存崛起,2K正加速接棒1080P。
IT之家 8 月 2 日消息,Valve 发布了 2026 年 7 月最新的 Steam 软硬件调查数据,展现了当前 Steam 用户群体的硬件配置和软件系统分布变化,多个核心配置品类出现明显占比变动。 操作系统版本 IT之家注意到,在操作系统方面,Windows 11 64 位继续保持领先,占比达…
AMD 确认 4GB 显存版 Radeon RX 9050 显卡仅面向 OEM 渠道
IT之家 7 月 29 日消息,根据外媒 Wccftech 编辑 Hassan Mujtaba 在 X 平台的动态,AMD 向其确认 4GB 显存版 Radeon RX 9050 显卡专为合作伙伴系统开发, 目前没有计划在 OEM 系统之外销售 4GB 版本 。 与其它相较最大显存容量减半的降档版本…
华擎推出 AMD Radeon RX 9050 Challenger 显卡:16CU + 4/8GB 显存
IT之家 7 月 28 日消息,华擎 (ASRock) 现已在官网上线 AMD Radeon RX 9050 Challenger 4GB / 8GB 显卡。 Radeon RX 9050 作为目前最低端的 "RDNA 4" 架构产品仅拥有 16 个计算单元 (CU),即 1024 个流处理器 (S…
曝 Meta 定制版 AMD MI450 架构 GPU 仅具备 1/2 计算单元和 1/3 显存容量
IT之家 7 月 22 日消息,研究机构 SemiAnalysis 北京时间 22 日表示, Meta 获得的基于 MI450 架构的定制 AMD Instinct 显卡加速器采用了与标准 MI455 具有显著区别的设计 。 ▲ 图源:SemiAnalysis 标准 Instinct MI455 拥…
芯展速 AI90 固态硬盘显存化方案亮相:首 Token 延迟缩短至 1/50
IT之家 7 月 20 日消息,芯展速 (GenStorAIGE) 在 WAIC 2026 展出了其 AI90 软硬件一体化 AI 推理加速方案。 其将高性能 SSD 纳入 GPU 显存体系, 让 KV Cache 卸载到更大容量的固态硬盘上 ,形成 HBM + DRAM + SSD 三级存储体系。…
GDDR7 显存太贵:RTX 50 SUPER 被曝已交付 AIB,但英伟达要求暂缓发售
IT之家 7 月 17 日消息,据 VideoCardz 今日报道,英伟达已向至少一家 AIB 板卡合作伙伴交付了 GeForce RTX 50 SUPER 系列 GPU,但却又通知对方暂缓发售。 消息人士确认 RTX 50 SUPER 显卡已物理交付到合作伙伴手中,说明产品的开发工作已基本完成。不…
2688 元砺算 LX 7G100 国产显卡零售版上市:6nm 全自研架构 + 12GB 显存
IT之家 7 月 17 日消息,砺算科技旗下 LX 7G100 消费级显卡零售版今日 20:00 正式开售,官方定价为 2688 元。 京东 砺算科技 LX 7G100 12G 显卡 TrueGPU 自研架构 Lisuan eXtreme 国产全新台式机独立显卡电竞游戏设计剪辑 2688 元 直达链…
用计算换显存:AMD 公布 PEPS 纹理压缩新技术,保持同级画质的前提下参数减少 25%
IT之家 7 月 11 日消息,AMD 在 2026 年度 I3D 研讨会上公布了一项名为“PEPS:位置编码投影采样”的最新研究成果。 这项技术聚焦于近年来备受关注的神经纹理压缩领域,在保持画质基本不变的前提下,成功将模型参数量削减了 25%。 神经纹理压缩的核心在于训练一种叫做“隐式神经表示”的…
英伟达 RTX 5090 SE 显卡规格曝光:24GB 显存、384-bit 位宽
IT之家 7 月 11 日消息,科技媒体 NeoWin 昨日(7 月 10 日)发布博文,报道称英伟达规划推出 GeForce RTX 5090 SE 显卡, 配备 24GB 显存,性能可能介于 RTX 5090 和 RTX 5080 之间。 消息源称,RTX 5090 SE 显卡会配备 14080…