auditing

标签

Cards List
#auditing

在审计试验中,AI智能体提出的问题比毕马威会计师更好

Hacker News Top ↗ · 3天前 缓存

毕马威英国在一项富时250指数成分股公司的审计中试用了100多个AI智能体(“指数级项目”),发现它们有时比人类审计师更深入地调查财务问题,并提出更好的问题,并计划将其应用范围扩大到更大规模的审计。

0 人收藏 0 人点赞
#auditing

审计人员难以发现人工智能安全研究完整记录中的蓄意破坏行为

arXiv cs.AI ↗ · 4天前 缓存

一篇 arXiv 论文通过红队与蓝队对抗,对防范 AI 科研破坏的措施进行了压力测试,发现人类审查员在识别遭到蓄意破坏的实验时,表现仅略优于随机猜测(AUROC 为 0.59),而前沿模型的表现则稍好一些。

0 人收藏 0 人点赞
#auditing

如何定义“能力活动”以便于进行节奏调控?(阅读约 21 分钟)

TLDR AI ↗ · 4天前

文章认为,要调控 AI 前沿发展的节奏,需要公开验证的算力支出度量,并呼吁 AI 开发者允许第三方审计方报告分配给能力活动与非能力活动的算力比例,这一建议建立在 Anthropic 已发布的安全研究算力估算之上。

0 人收藏 0 人点赞
#auditing

作为一种分布的合规性:基于用途的人工智能监管中的委托契约、误差预算与评估权分配

arXiv cs.AI ↗ · 2026-10-27 缓存

本文将基于用途的人工智能监管中的合规性重新定义为在预先声明的情境分布下的失效率,并研究部署者、审计者与执法节点之间策略互动下的委托契约。文章提出了基于严格适当评分规则的惩罚、承诺—揭示式审计、α 投资错误预算和子群体保障等机制,并将以比率衡量合规性的方式与《欧盟人工智能法案》的静态合格评定进行对比。

0 人收藏 0 人点赞
#auditing

谁来验证工具?被篡改的格式化工具如何误导智能体及其验证器

arXiv cs.AI ↗ · 2026-10-26

这篇 arXiv 论文展示了“失真格式化器”——即省略搜索限制或结果数量上限等关键细节的工具输出文本——如何在底层计算正确的情况下,仍然误导 AI 智能体及其验证器。修复格式化器后,缺乏依据的断言大幅减少,验证器的接受结果也从 90/90 全部错误变为 90/90 全部正确。此外,一条审计提示词重新发现了作者自身系统以及 OpenClaw 和 Hermes 中仍然存在的缺陷,推动了相关修复的合并。

0 人收藏 0 人点赞
#auditing

人工智能鲁棒性审计的可操作元要求

arXiv cs.AI ↗ · 2026-10-15 缓存

该论文通过系统文献综述与128位从业者评估,提出并验证了AI鲁棒性审计框架的44项元需求(分为16个类别),以帮助组织构建和评估AI鲁棒性审计框架。

0 人收藏 0 人点赞
#auditing

Regunow

Product Hunt ↗ · 2026-10-06 缓存

Regunow 是一款在 Product Hunt 上发布的合规研究工具,可将监管要求转化为可执行的合规审计,通过 AI 解读法规、比对文档、识别合规缺口并生成结构化报告。

0 人收藏 0 人点赞
#auditing

纠正何时才算修复?工具使用型大语言模型内部干预的机制化审计

arXiv cs.CL ↗ · 2026-09-30 缓存

本文提出了SAKIKO——一个机制化审计框架,揭示了工具使用型大语言模型中的激活引导干预可能只是将概率质量重新分配,而非真正修复问题;研究发现,其中一个净增益为+55的干预,会破坏其所触及的基准正确决策中超过一半的案例。

0 人收藏 0 人点赞
#auditing

@JakeSherman: JOHNSON 在 Squawk Box 上表示,对AI进行“一点监督”、透明度和外部审计是合适的。

X AI KOLs Following ↗ · 2026-09-29

JOHNSON 在 Squawk Box 节目中表示,对AI进行监督、透明度和外部审计是合适的。

0 人收藏 0 人点赞
#auditing

在生产Text-to-SQL流水线中审计和修复LLM-as-Judge失败问题

arXiv cs.CL ↗ · 2026-09-28 缓存

本文审计了生产环境Text-to-SQL流水线中LLM-as-Judge的表现,发现其与人工标注者的一致性较差,并提出使用自托管的Qwen模型和集成方法进行修复,以提高可靠性并降低成本。

0 人收藏 0 人点赞
#auditing

审计了我们AI代理设置中的1,228次人工干预。91%不是决策,因此我们停止让代理说“完成”。

Reddit r/AI_Agents ↗ · 2026-09-27

审计了AI代理工作流程中的1,228次人工干预,发现91%不是决策,促使引入新的验证服务,包括工作合同和影子模式以提高可靠性。

0 人收藏 0 人点赞
#auditing

事后如何验证你代理的记忆是否准确?

Reddit r/AI_Agents ↗ · 2026-09-27

作者讨论了验证AI代理长期记忆正确性的挑战,并征求社区关于追踪和纠正记忆错误的经验。

0 人收藏 0 人点赞
#auditing

Neal Mohan 称 YouTube 消灭了守门人,但其去向究竟如何?

Reddit r/artificial ↗ · 2026-09-26

YouTube 首席执行官 Neal Mohan 推出了由 Gemini 驱动的 Custom Feeds 和 Ask YouTube 功能,但文章批评了 AI 驱动内容策展中透明度和外部审计的缺失。

0 人收藏 0 人点赞
#auditing

展示 HN: 基于自解密 HTML 页面的离线文件加密

Hacker News Top ↗ · 2026-09-24

一个工具,通过创建自解密 HTML 页面实现离线文件加密,无需安装,并使用 OpenPGP 进行安全审计。

0 人收藏 0 人点赞
#auditing

发现、证伪、修订:在智能体发现的细胞模型中,审计从源代码到预测贡献的输入使用声明

arXiv cs.LG ↗ · 2026-09-24 缓存

介绍CellAudit,一种通过检查源代码和预测贡献来审计AI虚拟细胞中输入使用声明的方法,使用证伪来弥合智能体模型发现中预测与声明之间的差距。

0 人收藏 0 人点赞
#auditing

对齐惯性:通过策略覆盖抵抗审计训练数据影响的持久性

arXiv cs.AI ↗ · 2026-09-24 缓存

该论文提出了覆盖成功率(OSR)和对齐惯性等指标,以审计在操作员通过提示或微调尝试策略覆盖时,先前训练对LLM行为影响的持久性。

0 人收藏 0 人点赞
#auditing

SafeTune:一个统一且可靠的库,用于审计和修复微调大型语言模型中的安全偏移

arXiv cs.LG ↗ · 2026-09-22 缓存

SafeTune是一个统一的源码可用库,用于审计和修复微调大型语言模型中的安全偏移,提供跨多种干预范式的一致工作流。

0 人收藏 0 人点赞
#auditing

一个内部机器人让我对我们的AI代理进行审计。IAM权限范围远大于实际需求

Reddit r/AI_Agents ↗ · 2026-09-21

作者发现一个内部AI代理的IAM权限过于宽泛,突显了管理AI代理身份时需要加强安全实践,并向社区寻求处理此类问题的建议。

0 人收藏 0 人点赞
#auditing

仅付费于分歧:具有匹配标签复杂度界限的模型更新认证无退化判定

arXiv cs.LG ↗ · 2026-09-17 缓存

本文提出了一种认证协议,用于审计模型更新,该协议通过利用模型分歧来最小化标注成本,并提供无退化的统计保证。

0 人收藏 0 人点赞
#auditing

AI实验室希望引入内部审计员——但或许他们应该先关好前门

TechCrunch AI ↗ · 2026-09-16 缓存

文章主张,AI实验室应优先考虑基本的网络安全措施,而非第三方审计,以防止安全事故发生,并引用了近期因配置不当导致前沿模型逃逸的事件以及专家意见。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈