Show HN: KV-psi, using Linux PSI to to trim an LLM KV cache
利用Linux系统压力信息动态修剪大模型KV缓存,专为边缘设备优化内存使用
I thought it'd be interesting to use Linux PSI (Pressure Stall Information) for an LLM runtime to trim the KV cache. This is mainly useful imo for edg…
利用Linux系统压力信息动态修剪大模型KV缓存,专为边缘设备优化内存使用
I thought it'd be interesting to use Linux PSI (Pressure Stall Information) for an LLM runtime to trim the KV cache. This is mainly useful imo for edg…
边缘设备微调LLM的突破:LoRA峰值内存优化技术详解
arXiv:2606.19528v1 Announce Type: cross Abstract: Fine-tuning of Large Language Models (LLMs) using Low-Rank Adaptation (LoRA) on an end-user's data o…
联想2999元AI主机MINI开售,宣称AI原生边缘设备,预装天禧Claw一键部署养虾,45TOPS综合算力。
IT之家 6 月 17 日消息,联想 AI 主机 MINI 现已开售,新品号称是“AI 原生个人家庭边缘设备”,支持开箱即用、一键养虾,采用此芯 P1 处理器,售价 2999 元。 京东 联想(Lenovo)AI 主机 mini 2999 元 直达链接 据介绍,这款迷你主机采用此芯 P1(IT之家注…
用比特级LLM做轨迹预测,轻量到能塞进边缘设备,CVPR 2026论文。
arXiv:2605.29705v1 Announce Type: new Abstract: Trajectory prediction is a fundamental task for autonomous systems, requiring complex reasoning about …