llm-as-a-judge

标签

Cards List
#llm-as-a-judge

基于有界劣质评判者的稳健大语言模型评估:一种约束最大似然方法

arXiv cs.CL ↗ · 2天前 缓存

该论文提出了一种用于大语言模型评估的约束最大似然估计(CMLE)方法,在数据驱动的约束下,通过真阳性率和假阳性率对代理评判器的误差进行建模,以可控的偏差换取方差的降低。其分层变体(SCMLE)的均方误差(MSE)相比最强基线最多降低约 30%,在标注数据较少的情况下收益最大。

0 人收藏 0 人点赞
#llm-as-a-judge

智能体即评判者

arXiv cs.CL ↗ · 6天前 缓存

一篇介绍“智能体即评审”(Agent-as-a-Judge)范式的综述论文。该范式将评审者定义为主动评估者,在作出裁决前,通过工具、规划、记忆和多智能体协作收集缺失的证据,并将其与被动的“大语言模型即评审”(LLM-as-a-Judge)评审者进行比较。论文汇总了主要智能体评审者的评分,并概述了成本、可靠性、安全性和治理方面尚待解决的挑战。

0 人收藏 0 人点赞
#llm-as-a-judge

用决策模型作为幻觉检测的裁判

arXiv cs.CL ↗ · 2026-10-28 缓存

该论文构建了涵盖五种幻觉类型的二元基准(来自六个数据集的9,852个样本),比较了五种决策模型与生成式裁判GPT-6-sol在幻觉检测上的表现,发现决策模型在部分类型上以1-3%的成本匹敌或超越生成式裁判,但在逻辑与指令不一致类型上仍有差距且概率存在过度自信问题。

0 人收藏 0 人点赞
#llm-as-a-judge

MedConstBench:评测宪法如何引导大语言模型处理医学伦理问题

arXiv cs.AI ↗ · 2026-10-28 缓存

MedConstBench 是一个医学伦理基准,将部署章程视为受控变量,在四种章程下评估了十个开源大语言模型,发现章程的影响具有维度选择性,且因模型而异;其提出的“不伤害”自适应选择器可达到各模型预言机的表现。

0 人收藏 0 人点赞
#llm-as-a-judge

@bkdgiffug: 想学 AI Agent,先别急着花钱报班,这 4 本免费电子书可以先读起来。 Galileo 放出了 Mastering GenAI Series,共四本、合计约 500 页,覆盖从 RAG 到 Agent 评估的核心知识。 Master…

X AI KOLs Timeline ↗ · 2026-10-17 缓存

Galileo 免费发布了 Mastering GenAI 系列电子书,共四本约 540 页,系统覆盖 AI Agent 设计、RAG、多智能体架构与 LLM-as-a-Judge 评估等工程实战知识,适合 AI 应用开发者入门或进阶。

0 人收藏 0 人点赞
#llm-as-a-judge

从结构到有效性:机制引导的大语言模型评分量规生成与优化

arXiv cs.CL ↗ · 2026-10-12 缓存

本文系统分析了大语言模型评估中评分量规设计的机制,涵盖标准组织、操作化与分数聚合,并提出ARTS-Hybrid方法(自适应树构建+语义优先的响应校准细化),在评估性能和评分量规质量上均有提升,且生成的评分量规可作为模型优化的有效信号。

0 人收藏 0 人点赞
#llm-as-a-judge

@omarsar0: https://x.com/omarsar0/status/2107472222398886011

X AI KOLs Timeline ↗ · 2026-10-06 缓存

Omar Santos 提供了一份指南,介绍如何将 TypeSafe AI 的决策模型 Jev 用作 LLM judge 来评估智能体。他展示了相比只看最终回复,读取完整轨迹(工具调用、结果、错误)如何提升生产级评估与监控系统的可靠性和一致性。

0 人收藏 0 人点赞
#llm-as-a-judge

超越分数对齐的 LLM-as-a-Judge 评估:残差评分难度的心理测量学分析

arXiv cs.CL ↗ · 2026-10-05 缓存

该论文从心理测量学视角评估 LLM-as-a-Judge,使用 Many-Facet Rasch 模型将评分分解为潜在质量、评分者严苛度与残差难度,发现人类与 LLM 在汇总对齐之外仍存在明显的残差难度结构错配。

0 人收藏 0 人点赞
#llm-as-a-judge

@suraj_sharma14:作为 AI 评测工程师,你必须完成以下这些项目。 1.)轨迹评分引擎(Trajectory Grading Engine)构建:一个步骤级别的评估器,用于……

X AI KOLs Timeline ↗ · 2026-10-04 缓存

# AI Evals 工程师必做的 15 个实战项目 一位从业者梳理了 15 个 AI Evals 工程师必建的项目,涵盖以下方向: 1. 轨迹评分(trajectory grading) 2. 影子路由(shadow routing) 3. 带校准的 LLM-as-a-Judge 4. CI/CD 回归门禁 5. 对抗性 RAG 测试 6. DPO 微调飞轮 7. 统计显著性 8. Agent 红队测试 9. 漂移监控 10. 成本-质量看板 11. 反事实回放调试(counterfactual replay debugging) 12. 合成边缘用例生成 13. 上下文窗口淘汰测试(context-window eviction tests) 14. 数据集污染检查 15. 公开评测方法论拆解(public eval methodology teardowns)

0 人收藏 0 人点赞
#llm-as-a-judge

用于鲁棒成对LLM评判的骨干自适应证据路由

arXiv cs.AI ↗ · 2026-09-28 缓存

BAER引入了一种骨干自适应证据路由方法,用于鲁棒的成对LLM评判,通过根据条件动态选择证据机制,在多个基准测试中实现了更高的准确性。

0 人收藏 0 人点赞
#llm-as-a-judge

CARGO: 面向生产环境中智能体AI的上下文感知检索门控评估

arXiv cs.CL ↗ · 2026-09-28 缓存

本文介绍Cargo框架,用于评估智能体AI系统。该框架通过将事实判断基于实时上下文并基于检索置信度对评估进行门控,以解决参考实例分歧问题,并引入用于基准测试的Cargo-Bench。

0 人收藏 0 人点赞
#llm-as-a-judge

JEV-as-a-Judge: 自信时接受,不确定时上报

Hugging Face Daily Papers ↗ · 2026-09-22 缓存

本文介绍了JEV-as-a-Judge,这是一种用于大型语言模型(LLMs)的经济高效评估方法,它使用一个仅基于决策的评判器,设置置信度阈值来接受确定的判定并上报不确定的判定,以显著更低的成本实现了与最先进模型相当的准确性。

0 人收藏 0 人点赞
#llm-as-a-judge

超越姓名:去识别化简历中的人口统计泄露与LLM偏差审计中的评估假象

arXiv cs.CL ↗ · 2026-09-16 缓存

本研究探讨了从去识别化简历中移除语言字段是否能防止LLM偏差审计中的人口统计泄露,发现非语言文本仍允许推断,且评估设计对结果有显著影响。

0 人收藏 0 人点赞
#llm-as-a-judge

推理是否能提升大型语言模型的心理深度?这取决于评判者是谁。

arXiv cs.LG ↗ · 2026-09-15 缓存

研究调查了LLM-as-a-Judge评估者是否能可靠地评估LLM生成故事的心理深度,揭示了人类偏好的异质性,而评判者则基于表层特征对推理输出表现出偏见。

0 人收藏 0 人点赞
#llm-as-a-judge

噪声如何滋生偏见:噪声文本下LLM评判者偏见测量的脆弱性

arXiv cs.CL ↗ · 2026-09-11 缓存

本文研究文本表面噪声如何影响LLM评判者的偏见测量,发现噪声会系统性地高估偏见,尤其是在公平关键类别中,并引入了Fable基准来研究这一问题。

0 人收藏 0 人点赞
#llm-as-a-judge

@LangChain:将编码代理指向 LangSmith CLI,它就能为你构建一个在线的 LLM-as-a-judge:定义评分标准,连接到……

X AI KOLs Timeline ↗ · 2026-09-10 缓存

一个关于使用编码代理与 LangSmith CLI 来设置在线 LLM-as-a-judge 以评估 LLM 追踪的教程,所有配置都可从终端进行。

0 人收藏 0 人点赞
#llm-as-a-judge

通过人类对齐设计用于药物发现代理AI的健壮LLM评估系统

arXiv cs.LG ↗ · 2026-08-24 缓存

本文提出一种用于药物发现代理AI的LLM-as-a-Judge评估框架,通过专家标注者的人类对齐研究验证。优化法官模型以提升与人类判断的契合度,并为科学领域可重用评估提供洞见。

0 人收藏 0 人点赞
#llm-as-a-judge

大型推荐解释中LLM-as-a-Judge的生命周期

arXiv cs.AI ↗ · 2026-08-20 缓存

本文提出了一个在Netflix使用大语言模型作为评判者来评估推荐解释的生命周期框架,涵盖从开发到部署和监控的各个阶段,并通过A/B测试取得了积极结果,显示用户参与度得到提升。

0 人收藏 0 人点赞
#llm-as-a-judge

通过随机数生成缓解 LLM-as-a-Judge 中的评分偏差

arXiv cs.CL ↗ · 2026-08-07 缓存

本文提出了一种新方法,通过让 LLM 随机生成数字来测量其潜在的数字偏差,并据此修正 token 生成概率,从而缓解 LLM-as-a-Judge 中的评分偏差。在四个任务上的实验表明,该方法优于基线方法,并揭示了评分偏差在不同模型、任务和分数区间上的差异。

0 人收藏 0 人点赞
#llm-as-a-judge

SysAdmin:衡量前沿AI中的工具性权力寻求

arXiv cs.AI ↗ · 2026-07-22 缓存

本文介绍了SysAdmin基准,该基准将前沿语言模型置于高保真Linux沙箱中扮演自主系统管理员角色,以衡量其权力寻求倾向。在2800个任务中,作者发现自发权力寻求行为极少(偏差校正后为0-5%),但识别出其他故障模式,如规格游戏和对目标修改的抵抗。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈