human-in-the-loop

标签

Cards List
#human-in-the-loop

让你的 AI 智能体在屏幕上绘制大箭头、方框和文字

Hacker News Top ↗ · 2026-10-09 缓存

big-arrow-on-the-screen(bigarrow)是一款开源的小型 macOS 命令行工具和智能体技能,可让 AI 智能体在屏幕上绘制可点击穿透的箭头、方框和文字浮层,用来指示需要用户手动点击的 UI 元素,且不会抢占焦点,也无需额外权限。

0 人收藏 0 人点赞
#human-in-the-loop

生产级 Agent 图工程:如果今天有人要开始搭建 Agent 系统,我会告诉他的四件事

Reddit r/AI_Agents ↗ · 2026-10-08

一位有五年实时AI助手构建经验的工程师总结了生产级Agent系统的四条关键经验:可视化流程图、预设人工审批环节、集中管理模型选择、以及预先设计模型出错时的处理机制,并附带了一个公开的参考实现项目。

0 人收藏 0 人点赞
#human-in-the-loop

Text2Dashboard:面向企业级 DataBrain 自然语言仪表板生成的受治理智能体架构

arXiv cs.AI ↗ · 2026-10-08 缓存

伦敦大学学院(UCL)的研究人员提出了 Text2Dashboard,这是一种受治理的智能体架构,能够将自然语言请求转化为基于企业数据的可审查仪表板。它将受架构约束的 LLM 决策与类型化工具、确定性钩子以及人工审批关卡相结合。在少量 DataBrain 任务和故障场景上的评估结果显示了积极但仍有局限的结果。

0 人收藏 0 人点赞
#human-in-the-loop

“人类已批准”背后,可能隐藏着一个更艰难的治理问题

Reddit r/AI_Agents ↗ · 2026-10-06

作者认为,仅仅证明 AI 系统中有个人类点击了“批准”,并不等于证明这次批准是正当的——真正的治理难题在于:凭什么说明这个人的决定在那个时刻具有权威性。文章提出,构建高风险自主系统的从业者应当如何思考资格、指派、授权、独立性以及时效性这五个要素。

0 人收藏 0 人点赞
#human-in-the-loop

# 在AI辅助决策中,什么使人类监督真正有意义? ## 背景 随着AI系统日益嵌入医疗诊断、金融风控、招聘筛选和司法量刑等高风险领域,"人在回路"(human-in-the-loop)几乎成为行业标配。然而,许多所谓的"人工审核"实际上只是签字盖章,既没有阻断错误,也没有承担责任。那么,什么样的人类监督才真正有意义? ## 有意义的监督需要具备的关键要素 ### 1. 真实的决策否决权 有意义的监督必须包含**有效的否决权**——人类不仅能看到AI的建议,还必须拥有推翻它的实际能力与权限。当审核者无权拒绝系统输出,或拒绝会带来额外惩罚时,监督就沦为空壳。 ### 2. 充分的认知自主性 监督者需要: - **理解模型的基本逻辑**,而非仅查看输出结果 - 能够质疑假设、追溯数据来源 - 拥有独立收集补充信息的时间与资源 如果审核者的判断完全受制于AI的输出排序,那么所谓的"人机协同"实际上是单向的自动化。 ### 3. 问责与责任归属 监督之所以有意义,核心在于**责任能够被追溯和落实**。如果AI做出错误决策却无人担责,人类监督就失去了制度意义。有效的框架应当明确: - 何时人类需要介入 - 人类对哪些决策结果负最终责任 - 决策失误后的追责路径 ### 4. 反馈与改进的闭环 有意义的监督不会止步于纠正单次错误,而是形成**持续改进的机制**。人类审核者的每一次推翻、质疑和补充意见,都应当被系统性地收集,用于: - 修正模型的偏差 - 优化决策流程 - 识别系统性风险 没有反馈闭环的监督,只是在为系统的缺陷"背书"。 ### 5. 适当的认知负荷与时机 监督的有效性高度依赖于**介入时机**。过于频繁的审核会造成"警报疲劳"(alarm fatigue),导致审核者流于形式;过于稀疏的审核则无法及时发现偏差。合理的设计应当: - 将人工审核聚焦于高风险、高不确定性的案例 - 对低风险决策采用抽样或例外触发机制 - 确保审核者在关键时刻仍保持注意力 ## 常见的无效监督模式 | 模式 | 问题 | |------|------| | 一键通过 | 审核者默认接受AI建议 | | 事后审计 | 监督发生在决策已造成后果之后 | | 盲目服从 | 审核者缺乏对模型局限性的认知 | | 无追责机制 | 人类签字但不对结果负责 | | 形式化流程 | 监督环节存在,但不改变任何实际决策 | ## 如何设计有意义的监督 1. **分层审核**:根据决策风险等级设计不同强度的人工介入 2. **提供模型解释**:让审核者理解"为什么",而不只是"是什么" 3. **设置熔断机制**:在模型置信度低或输入异常时强制触发人工审查 4. **建立审计轨迹**:完整记录AI建议、人类判断与最终决策 5. **培训与赋能**:确保审核者理解模型的能力边界与常见失效模式 6. **避免自动化偏见**:通过盲审、对抗性测试等方式减少对AI的过度信任 ## 结语 有意义的人类监督,本质上不是"人类在场",而是**人类真正影响了决策的结果**。它要求制度设计确保监督者拥有独立判断的能力、否决的权力、问责的路径,以及推动系统改进的反馈机制。只有当这些条件同时满足时,"人工审核"才能从合规的形式要件,转化为保障决策质量与公平性的实质防线。

Reddit r/artificial ↗ · 2026-10-06

# 人类监督在 AI 辅助决策中的真正要求:以五角大楼 Agent Network 计划为案例分析 本文分析了在 AI 辅助决策中,"有意义的人类监督"究竟意味着什么,以五角大楼的 Agent Network 计划为案例研究,并提出三项可检验的评判标准: - **可理解的推理过程**:决策者必须能够读懂系统给出的理由,而不只是得到一个结果 - **可质疑的假设**:系统所依赖的前提假设应当被明确呈现,且允许被挑战和反驳 - **真正的暂停与否决权**:人类不仅拥有形式上的审批权限,更要具备实际约束系统的权力 这三项标准共同指向一个核心问题:当 AI 参与(甚至主导)高风险决策时,人类角色不应只是走个过场的盖章者,而应是拥有理解、质疑与否决能力的实际决策主体。

0 人收藏 0 人点赞
#human-in-the-loop

基于可验证、反馈驱动的语言模型回答临床医生对试验证据表格的提问

arXiv cs.AI ↗ · 2026-10-05 缓存

该论文提出 FD-SCoPE 框架,利用可验证、可反馈的语言模型与可执行查询,回答临床医生对临床试验证据表格的提问,包括无法直接通过数据库查询得出的派生属性问题,并在肿瘤学免疫检查点抑制剂试验数据上验证其可审计性与有效性。

0 人收藏 0 人点赞
#human-in-the-loop

智能体究竟做了什么?面向长时程智能体的基于证据的监督

Hugging Face Daily Papers ↗ · 2026-10-05 缓存

论文提出了 AgentMonBench 基准(包含 SpecGAP、SilentSwap、FeedbackTrace),用于评估 LLM 识别关键性智能体决策以及发现需求与行为不一致的能力,以实现对长时程 AI 智能体的基于证据的监督。

0 人收藏 0 人点赞
#human-in-the-loop

我受够了 AI 编写的那些一眼假的文字

Reddit r/AI_Agents ↗ · 2026-10-02

一位开发者开发并开源了一款工具,强制 AI 编码代理在发送邮件、提交代码和发消息之前,先将其放入人工审核队列,由用户进行编辑和批准,从而减少那些明显带有 AI 痕迹的内容以用户名义发布出去。

0 人收藏 0 人点赞
#human-in-the-loop

AI 拒绝了你的服务,你能找谁理论?

Reddit r/artificial ↗ · 2026-10-02

这是一篇观点文章,探讨当 AI 系统做出或否决服务决定——例如申请被拒或交易被标记——时出现的问责缺口,并主张重要的 AI 辅助决策应当附带清晰的人工复核与申诉机制。

0 人收藏 0 人点赞
#human-in-the-loop

@bkdgiffug:学习 Agent 最容易卡在这一步:你理解了所有概念,但真正要动手构建时却不知从何入手……

X AI KOLs Timeline ↗ · 2026-10-01 缓存

LangChain 官方发布的《Agents From Scratch》指南提供了一套可动手实践的四步路线图,用于构建具有长期记忆和人机协作能力的邮件 Agent,涵盖 LangGraph 工作流、LLM-as-Judge 测试、human-in-the-loop 确认以及 LangGraph Store 记忆集成,并附带 Notebook 和源代码。

0 人收藏 0 人点赞
#human-in-the-loop

我们究竟应该赋予 AI 代理多少自主权?

Reddit r/AI_Agents ↗ · 2026-10-01

一篇关于企业场景中 AI 代理应拥有多大自主权的思考性讨论,区分了「提出建议、经人工审核后执行」与「完全自主操作」之间的差异,并探讨在退款、财务决策、生产系统变更等高风险任务中,防护措施应设在何处。

0 人收藏 0 人点赞
#human-in-the-loop

@LangChain:@sydneyrunkle 讲解 LangGraph 最新进展

X AI KOLs Timeline ↗ · 2026-09-30 缓存

Sydney Runkle 介绍了 LangGraph 的一项新功能:带类型化响应模式(typed response schemas)的中断(interrupts),使人工响应在返回给智能体之前先经过验证,从而在 UI 中实现真实的响应表单,而不是原始的 JSON 输入。

0 人收藏 0 人点赞
#human-in-the-loop

让报价代理可信的唯一准则:LLM 绝不碰数字

Reddit r/AI_Agents ↗ · 2026-09-30

一位从业者分享了构建可信报价代理的架构思路:LLM 仅负责在温度 0 下从杂乱的客户消息中提取规格参数,空值转化为追问问题,定价交由带回归测试的确定性代码引擎完成,且每份报价在发出前都必须经过人工审核。

0 人收藏 0 人点赞
#human-in-the-loop

ThuRunel:面向结构化咨询对话的动态解耦机制

arXiv cs.AI ↗ · 2026-09-30 缓存

ThuRunel 是一个面向两阶段高风险咨询场景(医美、法律、教育)的顾问代理框架,它将「动态解耦」这一概念形式化:即决定该问什么、何时停止、哪些事项应自行解决,以及哪些问题应上报给专家。该框架结合有限状态信念管理、CoT 教师综合与生成适配器,在与十一个基线的对比中胜出,并以双语、可引用来源的 Web 应用形式对外发布。

0 人收藏 0 人点赞
#human-in-the-loop

AI编程智能体可以编写代码,那么接下来发生的事情应该由谁来控制?

Reddit r/AI_Agents ↗ · 2026-09-29

本文探讨了在代码更改后控制AI编程智能体的挑战,并提出一个工程控制平面来处理权限、验证和人工审批。

0 人收藏 0 人点赞
#human-in-the-loop

@heyshrutimishra: 到2030年,AI代理将使用比人类多100倍的令牌。目前,大多数AI使用受限于我们输入的速度……

X AI KOLs Timeline ↗ · 2026-09-28 缓存

这条推文讨论了AI代理到2030年将使用比人类多100倍的令牌的预测,并介绍了Fo,一个结合AI与人工协助以处理现实任务的个人AI产品。

0 人收藏 0 人点赞
#human-in-the-loop

US和俄罗斯从联合国草案中删除了AI目标的人类审查

Reddit r/artificial ↗ · 2026-09-27

US和俄罗斯从联合国草案中移除了对AI生成目标进行人类审查的要求,可能削弱全球对自主武器的监管努力。

0 人收藏 0 人点赞
#human-in-the-loop

@annabellschfr: Jev作为更复杂推理的守门人,其交接动态类似于代理与人类在环系统中的情况……

X AI KOLs Timeline ↗ · 2026-09-25 缓存

一篇论文描述了将JEV用于推理任务的门控,作为成本效益高的初审法官,在置信度较低时升级到大语言模型或人类。

0 人收藏 0 人点赞
#human-in-the-loop

EviStreams: 医学系统综述中的人机协作 AI 数据提取

arXiv cs.CL ↗ · 2026-09-24 缓存

EviStreams 是一个开源、无代码的网络平台,它使用人机协作 AI 进行系统综述中的数据提取,表明数据提取的质量更依赖于字段规范而非模型选择。

0 人收藏 0 人点赞
#human-in-the-loop

尝试使用“人在回路”伴侣设置来体验实况战役(69集运行)

Reddit r/AI_Agents ↗ · 2026-09-24

一位AI爱好者分享了一个人在回路设置,其中名为Cal的AI伴侣与D&D战役文本互动,在长途驾驶中提供互动共听体验。

0 人收藏 0 人点赞
← Previous
Next →
← 返回首页

提交意见反馈