研究揭示LLM评估者没有参考答案时评分偏高，需警惕开源模型自评偏差
arXiv:2607.12885v1 Announce Type: new Abstract: LLM judges are increasingly being used to evaluate open-ended model responses, often in no-reference s…
数据科学家亲测10款AI编码模型，5个任务评分+定价数据，帮你选最值工具。
I Ran 10 AI Coding Models Through 5 Tasks: A Data Scientist's Take I'll be honest — I went into this expecting a clear winner. I came out with a scatt…
代码榜榜首易主，Claude新模型登顶，Anthropic包揽前五名，AI模型竞争白热化。
IT之家 7 月 13 日消息，Arena（ arena.ai ）平台发布了最新一期 AI 大模型周榜，本期覆盖 2026 年 7 月 6 日 ~2026 年 7 月 12 日。 本周核心变化为代码榜榜首易主， claude-opus-4-7-thinking 从第二升至第一 ，原榜首 claude…
MCP服务器安全评分工具上线，CI集成与采购审查一步到位。
As a security professional whose employer has given Claude and various other AI tooling to everyone at the company, I kept finding myself as the bottl…
开源销售代理，自动给每个潜客打分并展示详细推理，部署需Bun、Rust和Claude CLI。
Article URL: https://github.com/chaitanyya/sales Comments URL: https://news.ycombinator.com/item?id=48856965 Points: 1 # Comments: 0
LLM作为评判者自身结果不一致？揭秘模型版本漂移与提示模糊性的根源与解法
Same outputs, same judge, two runs, two scores. The gate flickered red then green on a branch with zero code changes, and that flapping cost me more t…
AI大模型周榜出炉，Claude蝉联榜首，国产模型稳定在中上游，美国厂商包揽前十。
IT之家 7 月 9 日消息，Arena（ arena.ai ）平台公布了最新一期大模型对战周榜，本期统计覆盖 2026 年 6 月 29 日 ~7 月 5 日。 本周榜首位置依旧由 🇺🇸 Anthropic 的 claude-fable-5 牢牢占据 ，分数微涨 1 分，美国厂商在头部占据绝对优势…
Metacritic聚合全球主流游戏媒体评分，帮你快速了解《刺客信条：黑旗记忆重置》等新作口碑，数据直观可信。
IT之家 7 月 8 日消息， 育碧《刺客信条：黑旗 记忆重置 （Assassin's Creed Black Flag Resynced）》将于 7 月 9 日（明天）发售，目前本作全球媒体评分已解禁，游戏在 Metacritic 上 PC 版评分 84 分（33 家媒体）、PS5 版评分 84 …
30款应用无障碍审计结果公开：银行App全F，WhatsApp等全球App获A，差异模式值得深思
Project Log #14: I Scored 30 Apps on Accessibility. Here's the Public List. Okeke Chukwudubem Okeke Chukwudubem Okeke Chukwudubem Follow Jul 6 Project…
IT之家 7 月 5 日消息，据外媒 The Hacker News 报道，韩国首尔大学计算机安全实验室研究员 Jaeyoung Chung 在今年上半年发现了一个存在于 Linux 内核 epoll 子系统中的本地权限提升（LPE）漏洞，并将其命名为“Bad Epoll”。 相应漏洞后续获得编号 …
《节奏天国》新作获IGN 9分，魔性节奏与无厘头幽默再度回归，完美节拍挑战引人上瘾。
IT之家 7 月 1 日消息，任天堂《节奏天国：奇迹之星（Rhythm Heaven：Groove）》将于 7 月 2 日（明天）发售， eShop 港服数字版定价 329 港元（IT之家注：现汇率约合 284.9 元人民币） ，支持 Switch 1/Switch 2 游玩。 目前，本作全球媒体评…
新研究揭示LLM裁判在代理任务中打分不可靠，瓶颈与改进思路值得关注
arXiv:2606.29920v1 Announce Type: new Abstract: Rubric-based scoring has become a widely used paradigm in model evaluation, typically with LLM-as-a-Ju…
探索如何提升评分数据推荐系统的可靠性，提出基于数据特性的新方法
arXiv:2412.20802v3 Announce Type: replace-cross Abstract: Recommender systems are widely used in the digital landscape to match users with content fit…
用Claude、GPT、Gemini、Grok等LLM交叉评分AI工具，彻底告别付费排行榜。
Article URL: https://trytested.com Comments URL: https://news.ycombinator.com/item?id=48694097 Points: 1 # Comments: 0
揭秘LLM作为评判者时的位置偏差，点式与对式评估究竟何者更准确？
arXiv:2602.02219v2 Announce Type: replace Abstract: Large language models are widely employed as evaluators, a paradigm commonly referred to as LLM-as…
一篇剖析AI暴露评分指标的学术论文，揭示其度量盲区与未来改进方向，适合关注AI影响评估的研究者与从业者。
arXiv:2606.23633v1 Announce Type: new Abstract: A set of exposure scores calculated in 2023 has become a central empirical input to the future of work…
用LLM评估金融分析师？SpaceX IPO案例揭示自动化评分新方法，超越传统基准Finance Agent v2。
arXiv:2606.23032v1 Announce Type: new Abstract: Finance Agent v2 (by Vals AI) has emerged as the reference benchmark for evaluating both Anthropic Cla…
最新论文提出通过logit空间对比对齐实现跨模态生物语言模型，提升序列设计与变异评分效果。
arXiv:2606.18703v1 Announce Type: new Abstract: Pretrained biological language models expose per-token probability distributions through masked-token …
面向高风险考试的LLM自动评判，提出课程基础评分流水线，提升可靠性与可解释性。
arXiv:2606.17507v1 Announce Type: new Abstract: Generative AI and large language models (LLMs) are increasingly applied to question generation and aut…
验证LLM给学术手稿打分的可靠性，AIPR系统从五个维度评分，结果竟然与真实同行评审高度一致。
arXiv:2606.15887v1 Announce Type: cross Abstract: Large language model (LLM) systems are increasingly proposed to assist peer review, yet most evaluat…