低延迟的JVM本地LLM推理方案，利用OpenJDK Panama FFM避免传统串行化与GC开销。
Most existing approaches for running local LLM inference within the JVM ecosystem rely on spawning out-of-process daemons via REST sidecars (introduci…
开源本地LLM推理引擎TensorSharp：基于C#/.NET，30秒启动GPU加速推理，支持GGUF模型
A native .NET LLM inference engine for GGUF models — with a command-line tool, a browser chat server, and Ollama- & OpenAI-compatible APIs for program…
在苹果设备上用 Swift 和 Metal 原生运行 GGUF 大模型，为 iOS/macOS 本地 AI 推理打开新大门。
Article URL: https://github.com/christopherkarani/EdgeRunner Comments URL: https://news.ycombinator.com/item?id=48795979 Points: 2 # Comments: 0
浏览器端LLM驱动的roguelike游戏，零服务器成本，架构设计与提示工程巧思
Most "AI games" phone home. Every turn is an API round-trip, every player burns your tokens, and the whole thing dies the day the bill scares you. I w…
基于文本扩散的开放AI模型，本地推理速度提升4倍，高效处理文本生成任务
IT之家 6 月 11 日消息，谷歌今天（6 月 11 日）发布公告，宣布推出 DiffusionGemma，是基于文本扩散机制的开放 AI 模型， 相比较自回归模型在本地推理速度上提升了 4 倍。 IT之家注：自回归模型（Autoregressive Model）是当前主流的大语言模型架构（如 G…
苹果新测试版能否强制大模型请求只走本地？企业数据安全与MDM控制的实用探讨。
I can imagine many corporates with MDM settings wanting to say 'data on the endpoint is OK, data off the endpoint is not, notwithstanding Apple's PCC …
开源本地LLM推理引擎，支持Gemma、Qwen、Mistral等主流模型及多模态输入
Article URL: https://github.com/zhongkaifu/TensorSharp Comments URL: https://news.ycombinator.com/item?id=48392099 Points: 3 # Comments: 1
Google 最新多模态模型 Gemma 4 12B 无需编码器即可本地运行，开源灵活且高效。
Run multimodal AI locally with an encoder-free architecture Discussion | Link
谷歌推出Coral Board单板计算机，1 TOPS算力即可本地运行Gemma 3模型，专为边缘AI场景设计。
IT之家 5 月 29 日消息，在 2026 年 I/O 开发者大会期间，谷歌推出 Coral Board， 是可以本地运行 Gemma 3 模型的小型单板计算机。 Coral Board 最大的亮点，在于搭载 Coral NPU，该机器学习单元由 Google Research 研发，基于 RIS…
一篇让你迅速上手 iOS 图像分类的实战指南，全程讲解 2026 年最新 CoreML 本地模型部署，无需云端即可实现高精度识别。
Many developers think iOS image classification CoreML requires cloud APIs or complex ML pipelines. That's completely wrong. With Apple's latest CoreML…
Apache 2.0许可下自由修改、商业使用并本地运行高端LLM，开发者告别专有硬件与API依赖。
This is a submission for the Gemma 4 Challenge: Write About Gemma 4 What exactly is Gemma 4? Simply put, it’s a family of open-weight, open-source AI …
实测告诉你：苹果 M5 Max 本地跑大模型，速度慢、成本反超云端 API，算账对比很清晰
先上结论： 使用 14寸 MacBook Pro M5 Max 高配，64GB 内存的情况下，速度比云端大模型慢、实际成本也比云端大模型贵… 推荐：直接向大模型厂商付费充值使用。 一些数据 这是来自 williamangel 的一组数据，文章主要在计算「本地跑 LLM 到底贵不贵」，使用
联想天禧AI 4.0升级，新增本地多模态记忆模型Claw与个人知识库，从被动调用转向自主执行
IT之家 5 月 19 日消息，在目前正在进行的“联想天禧 AI 一体多端全场景新品超能之夜”中，联想正式发布天禧 AI 4.0 版本，官方称其正从“被动调用”转为“自主执行”。 官方首先推出了天禧 Claw，其支持“仿生记忆”功能，利用 1.7B 多模态记忆模型实现情景记忆、语义记忆、程序记忆等能…
实测对比：本地M5 MacBook Pro运行LLM每百万token成本约$1.5，而OpenRouter同类模型价格仅1/3且速度翻倍，揭示本地推理的真实经济账。
Article URL: https://www.williamangel.net/blog/2026/05/17/offline-llm-energy-use.html Comments URL: https://news.ycombinator.com/item?id=48168198 Poin…
本地运行的苏格拉底式学习助手，用Gemma 4引导批判性思维，避免直接给答案。
This is a submission for the Gemma 4 Challenge: Build with Gemma 4 What I Built I built a local Socratic Study Buddy application. It pairs the localiz…