设备端AI推理新突破：自动云回退、4-bit无损量化、PyTorch模型一键转换。
Hi HN, Roman and Henry here from Cactus ( https://github.com/cactus-compute/cactus ). We just shipped the biggest upgrade to our on-device inference p…
开源本地LLM推理引擎TensorSharp：基于C#/.NET，30秒启动GPU加速推理，支持GGUF模型
A native .NET LLM inference engine for GGUF models — with a command-line tool, a browser chat server, and Ollama- & OpenAI-compatible APIs for program…
Windows 原生运行 TensorRT-LLM，告别 WSL 的繁琐配置
Article URL: https://baremetalrt.ai/app?mode=1gpu Comments URL: https://news.ycombinator.com/item?id=48846307 Points: 1 # Comments: 0
集成原生AI代理的现代化Windows终端，支持多标签页和GPU加速，让命令行操作更高效智能
Windows Terminal with native agent integration Discussion | Link
高性能 GPU 加速框架 SGL 开源，鸿蒙开发者仅需三行代码即可调用 GPU 滤镜，大幅简化图形处理开发。
IT之家 5 月 29 日消息，据 HarmonyOS 开发者技术消息，华为鸿蒙开发团队开源 SimpleGPULayer （简称 SGL ）高性能 GPU 加速框架，面向鸿蒙原生应用提供一站式图形与计算加速能力，全面覆盖 图像处理、AI 推理计算、2D / 3D 渲染、矢量图形生成 等核心场景。 …
ZeroGPU通过JSONL文件批量处理AI聊天补全任务，零配置GPU加速，大幅提升推理效率。
Running AI inference one request at a time works well for real-time product experiences. But many workloads do not need an immediate response. Data en…
在浏览器中免费运行Python代码，内置GPU加速，适合AI与数据分析学习，无需配置环境。
Introduction Variables store data. But conditions, loops, and functions are what make programs think, repeat, and scale. These concepts power AI agent…
将文本嵌入批处理速度提升至25万条/秒，比Hugging Face TEI快3倍，开源且支持生产环境调优。
Article URL: https://github.com/Artain-AI/ignite-ms Comments URL: https://news.ycombinator.com/item?id=48210818 Points: 2 # Comments: 0
实时本地OCR翻译Hoyoverse游戏内对话，GPU加速，精准匹配无延迟，开源免费。
Article URL: https://github.com/wojciechowskiapp/Kaption Comments URL: https://news.ycombinator.com/item?id=48181500 Points: 1 # Comments: 0
开源Rust打造、GPU加速的AI-first EDA，原生格式比KiCad小5倍，电路设计新选择。
Article URL: https://github.com/alplabai/signex Comments URL: https://news.ycombinator.com/item?id=48174633 Points: 2 # Comments: 0
无需手动筛选视觉令牌，LRCP利用低秩可压缩性自动剪枝，大幅提升LVLMs推理效率，尤其适合高分辨率图像与长视频场景。
arXiv:2605.15621v1 Announce Type: new Abstract: Large vision-language models (LVLMs) achieve strong multimodal understanding, but their inference cost…