标签
本文评估了递归权重共享Transformer架构作为参数高效的替代模型,用于半导体热机械可靠性预测,并在小型工程数据集上比较了性能、参数数量和计算成本。
本文讨论软件系统在规模增长时因资源饱和而失效的现象,类比生物系统的极限,并介绍物理资源(CPU、内存、磁盘、网络)饱和和虚拟限制对系统可靠性的影响。
关于AI智能体可靠性的实用说明,主张生产环境中的智能体需要明确的门控机制,包括证据阈值、重试预算和影响评估,而不是仅依赖记忆来确定任务是否完成。
本文介绍了Σ-Mem,一种用于基于LLM的多智能体系统的在线可靠性记忆,它跟踪同伴的历史能力表现及同伴之间的关系,通过谱界实现稳定自适应,并通过残差引导、路由和加权投票来改善协调性。
探讨了为什么在测试用例上表现完美的AI智能体在真实对话中常常失败,强调了分布偏移和过拟合等问题。
本文研究了LLM在保持意义不变的改写下答案的变化,发现实例级行为不稳定(翻转率>23%),单提示准确性掩盖了显著的不一致性,而自我改写策略可以部分恢复潜在知识。
讨论如何将'人类拒绝'视为与'智能体故障'不同的故障模式,这显著影响了AI智能体在生产环境中的可靠性和调试。
本文认为,AI社区过于专注于构建功能强大的智能体,而忽视了在生产环境中可靠部署它们所需的运维挑战,强调了增强可观测性、调试能力和系统稳健性的必要性。
SpaceX表示,飞行测试的成功来自于学习,今天的测试将有助于提高Starship的可靠性,以服务于未来的轨道任务和Starlink部署。
本文警告不要将模型生成的叙述作为AI代理的权威审计日志,主张改为持久化原始工具调用数据,并建议通过简单的差异检查来发现不一致之处。
对递归AI智能体系统中终止问题的分析,强调了智能体如何在仍选择有效动作的同时丢失已验证的位置,并质疑终止逻辑应位于智能体栈的何处。
本文介绍了 MisKnow-Agent,一个用于生成误导性知识以测试深度研究代理的框架,表明即使是有限的看似可信的错误信息暴露,也可能导致最终报告中的错误结论。
本文识别并描述了基于LLM的自主代理中的两种故障模式——安全漂移和操作幻觉——并提出了一种轻量级架构层,可在无假阳性情况下拦截违规行为。
本文发现,更大的语言模型存在一种隐藏的自回归风险机制,在该机制下,模型会承诺低概率词元,进而导致错误滚雪球式增长,使得可靠性随规模扩大而更快下降。研究表明,这种故障模式是因果性的、主导性的,并且对模型自身的自我监控不可见。
提醒:AI代理可能看似在运行(“在线”),但实际上已损坏或故障,强调了需要更好的监控和验证。
本文评估了多语言句子嵌入能否在教育评估中替代翻译进行跨语言的语言集成可靠性审计,发现母语嵌入能紧密复现基于翻译的可靠性估计。
本文评估了用于测量远程双人协作任务中对话状态(如认知负荷和权力)的多模态特征的预测准确性、跨任务泛化能力和重测信度。研究结果表明,语言特征预测良好但泛化能力差,在控制说话者身份后声学可靠性下降,而交互特征提供了最可靠的信号。