标签
本文介绍了Hybrid-to-NeSy (H2N)框架,该框架系统地将混合机理-数据驱动模型转化为神经符号人工智能设计,从而能够推导出结构违规率和信念离散度等指标,作为机理部分认知不确定性的度量。
一位开发者构建了一个明确处理假设、证据和约束的架构技能,现在正在寻找智能体生成的失败案例来测试它。
一位开发者分享了让LLM生成的播客听起来更自然的技术,包括使用约束条件迫使产生分歧,以及在生成前预先编辑内容。
CombEval 是一个动态基准测试,用于评估大语言模型中的组合计数能力,通过类型化规范生成带有求解器验证答案的问题。它在直接设置和代码增强设置下测试了11种大语言模型,并发现模型在处理有序对象、不可区分元素、相对约束和嵌套依赖时存在脆弱性。
本文讨论了AI代理基准测试中的“验证者税”概念,区分了安全成功(完成任务且不违反约束)与不安全成功(完成任务但违反约束),并质疑在考虑安全权衡的情况下如何正确衡量代理性能。
提出一种神经符号框架,通过可微自动机表示和基于逻辑的损失函数,将LTLf约束注入基于Transformer的强化学习策略中,在保持竞争性回报的同时提高约束满足度。
AdaPlanBench是一个动态基准测试,用于评估LLM智能体在多轮交互中根据逐步显现的世界和用户约束进行自适应规划的能力。实验表明,当前模型尤其难以应对用户约束。
一篇非正式的研究笔记,描述了Transformer中的一种行为:模型的固有“清晰性寻求”向量在讨论高阶主题时可以绕过约束,这可能与对齐和安全研究相关。
作者基于实际失败案例,反对构建完全自主的电子邮件代理,主张采用受限的“提议-批准”工作流,即AI准备上下文和草稿,但由人类最终批准发送。