标签
本文提出了基于本体的上下文 AI 评估（Ontology-Based Contextual AI Evaluations，OB-CAIE）方法学，该方法利用领域特定本体和评估过程本体，为生成式 AI 测试带来科学严谨性、可追溯性和可复现性，同时在人类专业知识与自动化之间取得平衡。
本文描述了应用情报分析方法论，特别是连续概率预测（Continuous Probabilistic Foresight），使用Hinsley AI/人类混合平台进行大学橄榄球评估。
本文总结了来自 Hamel Husain 和 Shreya Shankar 的 AI Evals 课程的 8 个核心技能，旨在指导工程师和产品经理构建有效的 AI 评测系统，涵盖错误分析、评测器设计、校准和监控等步骤。
RBS-Attention引入了一种无需训练的稀疏预填充方法，采用双分支选择来缓解长上下文LLM推理中的均值稀释问题，在H100 GPU上实现最高20.65倍加速，同时在基准测试中保持接近稠密模型的质量。
本文重新实现了12种历史和近期算法，以研究在健康人工智能中评估电子健康记录方法学进展的障碍，发现综合算法比较在任务和数据集之间具有迁移性，但临床有意义的任务表现出更大的任务-算法交互作用。
本文探讨了研究代理在追踪被拒来源时的局限性，并强调了公开排除原因对辅助审查和验证流程的重要性。
一位推特用户分享了一个提示，该提示使用陶哲轩的'傻问题'方法，通过提出关键问题来压力测试任何计划，以揭示隐藏假设并增进理解。
本文提出了一种用于树结构强化学习的信念偏移分支方法，以增强步骤级信用分配，并在数学和编程基准测试中展示了性能提升。
这篇文章通过解释其方法论，并以Deepseek V4.1-Flash等例子为例，证明了单独的评估比聚合分数提供更细致的见解，从而捍卫了Artificial Analysis的基准测试。
文章提出，智能体计划应该明确映射任务依赖关系，而不是依赖顺序列表，并以播客工作流为例，展示这如何使等待或重复工作更可见和高效。
一位参会者回顾了 Kabi 在 Bilibili Build in Public 活动上分享的八种 AI Agent 工作流方法论，涵盖第一性原理问题求解、对抗性审查、消融实验和多 Agent 协作等框架，用于提升提示工程效率。
本文证明，仅凭评分标准文本即可预测LLM评判者的输出，从而挑战了基于评分标准评估的假设，并引发了对其在自动化文本生成评估中可靠性的担忧。
本文介绍了I-CARE，这是一种系统性分析文本到图像模型机器遗忘中干扰的方法，提供了形式化定义和开源框架，以实现可重复研究。
发布一种通过交互式基准测试评估模型路由的方法论，该方法在领先基准测试中实现了帕累托优势，以更低成本提供更高质量。
作者描述了一种通过组合11个基准测试来比较编码AI模型的方法，使用百分位排名而不是平均原始分数，重点是对98个模型进行去重和加权类别。
本文详细描述了在各种AI模型上进行Political Compass测试的实验，重点关注方法论、评分验证以及多次运行的结果以确保可重复性。
The Twelve-Factor App 是一种用于构建可扩展和可维护的软件即服务应用程序的方法论，概述了配置、流程和云部署的最佳实践。
文章介绍了产品构建的三个约束条件：一页纸文档以限制复杂性，分离的核心技术以获取杠杆优势，以及一个决定性的约束来塑造产品特性，基于个人在科技开发中的经验。