标签
该论文提出了 CIRCE,它利用低成本的大语言模型将问题的约束结构提取为约束图,从而在推理前预测大语言模型回答的正确性,并在七个推理基准测试中,在负对数似然(NLL)和受试者工作特征曲线下面积(AUROC)方面均优于现有基线方法。
本文提出一种轻量级进化启发式调度器,以优化dLLMs中的去噪轨迹,解决如EOS Overflow和Proximal Bias等失败模式,并在推理和规划基准测试中优于基线方法。
本文提出了一种基于注意力分散的无监督指标,用于检测大型语言模型中的幻觉,在使用Qwen2.5模型家族的数学推理基准测试中显示出显著的AUC提升。
本文提出TASCO,一个用于LLMs测试时自适应的框架,它将局部稳定性融入基于置信度的优化中,以提高推理准确性和令牌效率,同时无需更新模型参数。
本文研究了在线策略自蒸馏中的性能增益是否源于学习特权参考信息或恢复已有推理行为,发现正确参考在不同条件下并未一致地带来性能提升。
Sapient Intelligence发布了HRM-Text,一个1B参数的文本生成模型,仅用0.04万亿token训练(成本约1000美元),在多个推理基准上超越训练数据多100-1000倍的更大模型,标志着AI训练新范式的开始。
这条推文介绍了Fast-Slow Training (FST),一种新的持续学习方法,将模型参数视为慢权重,优化上下文视为快权重,据称在数学、代码和通用推理基准测试上全面优于仅权重训练。
AEvo 是一个元编辑框架,通过将提议和评估分为两个角色,并利用累积的记忆指导未来搜索,改进了迭代式智能体搜索。它在开放式优化任务上相比基线实现了26%的相对提升,并取得了最先进的结果。
本文介绍了 LogiHard,这是一个利用组合硬化来暴露前沿大语言模型组合性缺陷的框架,展示了模型在逻辑推理任务中准确率的显著下降。