设备端AI推理新突破：自动云回退、4-bit无损量化、PyTorch模型一键转换。
Hi HN, Roman and Henry here from Cactus ( https://github.com/cactus-compute/cactus ). We just shipped the biggest upgrade to our on-device inference p…
在离线状态下安全地从文档中提取关键字段，所有处理都在本地设备完成，不泄露数据隐私。
Secure on-device extraction even if you're offline Discussion | Link
面向设备端LLM推理的KV缓存碎片引擎，跳过最昂贵推理环节，专为ARM64 Android优化。
Article URL: https://github.com/bossandboss/EdgeSync-LLM Comments URL: https://news.ycombinator.com/item?id=48732973 Points: 2 # Comments: 0
移动端原生微调框架，让LLM在手机等嵌入式设备上也能高效定制，突破云端限制
arXiv:2512.08211v2 Announce Type: replace Abstract: Large language models (LLMs) are moving from cloud-centric services toward on-device embedded AI, …
利用软提示蒸馏技术，在设备端实现安全大模型系统，兼顾效率与部署安全性。
arXiv:2606.09388v1 Announce Type: new Abstract: Deploying safe large language models (LLMs) on resource-constrained edge devices presents a critical c…
苹果新推出的Core AI框架，专为设备端AI推理设计，兼顾性能与隐私，开发者必备了解。
Article URL: https://developer.apple.com/documentation/coreai/ Comments URL: https://news.ycombinator.com/item?id=48449665 Points: 7 # Comments: 0
苹果联手谷歌引入Gemini，第二代设备端模型解锁听写与屏幕感知新功能。
IT之家 6 月 9 日消息，在今天的 WWDC26 上，苹果正式宣布 Apple Intelligence 与谷歌达成合作， 引入 Gemini 大模型 ，并且还带来全新的 AI 架构。 据介绍，新版苹果 AI 将由 Gemini 提供技术， 能在设备端运行，也可以在云端服务器运行 。…
提出Dense2MoE统一剪枝与升级方法，将稠密LLM转化为MoE架构，显著提升设备端大模型的效率与性能，推动帕累托前沿。
arXiv:2605.26496v1 Announce Type: cross Abstract: The Mixture of Experts MoE architecture is highly promising for resource constrained on device deplo…
首个将混合专家模型高效部署到移动设备上的架构，实现低延迟与资源友好的AI推理。
arXiv:2605.27358v1 Announce Type: cross Abstract: Mixture-of-Experts (MoE) has become the de facto architecture for hundred-billion-parameter language…
提出统一方法论，实现设备端与云端LLM高效协作推理，优化本地路由与后训练。
arXiv:2509.24050v4 Announce Type: replace Abstract: Device-cloud collaboration holds promise for deploying large language models (LLMs), leveraging li…
设备端RAG新范式：通过偏好对齐构建记忆，让个人AI代理在隐私保护下更懂你的需求。
arXiv:2605.18271v1 Announce Type: cross Abstract: With the rapid emergence of personal AI agents based on Large Language Models (LLMs), implementing t…
个人AI走向本地设备，无需云端，隐私安全新方案
arXiv:2605.17172v1 Announce Type: new Abstract: Personal AI stacks, like OpenClaw and Hermes Agent, are becoming central to daily work, yet they route…