牛哥精选 · 所有

📋 全部 ☁️ 云服务 🤖 AI 平台 🔗 API 中转 🔐 安全/认证 💳 支付 📧 通讯 📊 数据分析 🖼 媒体处理 🌐 域名/DNS

📝 深度技术 Hacker News LLM 2026-06-28

Tiny LLM Benchmark: Jetson Orin Nano Super 8GB

边缘设备跑小模型能有多快？实测 Jetson Orin Nano Super 8GB 的完整性能数据，帮你在预算内选对部署方案。

Article URL: https://www.smolhub.com/posts/jetson-nano-super-benchmark-non-reasoning/ Comments URL: https://news.ycombinator.com/item?id=48705815 Poin…

tiny llm 边缘ai jetson ori 性能基准模型部署

📝 深度技术 arXiv AI 2026-05-27

ReMoE: Boosting Expert Reuse through Router Fine-Tuning in Memory-Constrained MoE LLM Inference

针对内存受限MoE大模型推理的优化方案，通过微调路由器实现专家重用，在Jetson Orin NX上获得1.77-1.99倍解码加速。

arXiv:2605.27081v1 Announce Type: cross Abstract: Fine-grained Mixture-of-Experts (MoE) models sparsely activate only a subset of experts per token, r…

moe 推理优化路由器微调内存受限解码加速

📅 日期

2026-05-20 2026-05-19

🐂 牛哥精选

Tiny LLM Benchmark: Jetson Orin Nano Super 8GB

ReMoE: Boosting Expert Reuse through Router Fine-Tuning in Memory-Constrained MoE LLM Inference

📅 日期