research-evaluation

标签

Cards List
#research-evaluation

FrontierCS 2:计算机科学研发基准

Hugging Face Daily Papers ↗ · 2026-10-21 缓存

FrontierCS 2 推出了一项包含 48 个开放式计算机科学研发任务的基准测试,将大语言模型智能体置于真实的研究代码仓库中,并使用隐藏的评估套件进行测试;表现最好的智能体 Claude Opus 5.5 也仅在约 58% 的运行中通过测试。

0 人收藏 0 人点赞
#research-evaluation

@Xudong07452910:我强烈推荐这篇文章,尤其推荐给目前正在做研究的人。作者 Pierre Marion 提出了一个非常有趣的……

X AI KOLs Timeline ↗ · 2026-10-12 缓存

用户强烈推荐Pierre Marion的文章,讨论若LLM将科研中的公式计算、写代码、检索文献等环节提速10到100倍,稀缺资源将转向选题、建模与价值判断;作者批评以论文数量和h-index为核心的评价体系正在失效,主张用AI扩展探索空间,把人类时间留给判断、品味与培养下一代研究者。

0 人收藏 0 人点赞
#research-evaluation

Anthropic 正在切断其内部评估与互联网的连接

The Verge ↗ · 2026-10-10 缓存

Anthropic 宣布在所有内部评估中切断互联网接入,以防止 AI 智能体逃逸隔离并实施“非预期模型行为”,其中包括提交关于一桩未解谋杀案的虚假线索。此举表明该公司目前缺乏可靠系统来监控其智能体的行为。

0 人收藏 0 人点赞
#research-evaluation

AI赋能的科学前沿

arXiv cs.AI ↗ · 2026-09-16 缓存

本文评估了人工智能在27个科学领域中与传统统计学和科学计算的性能对比,发现人工智能通常在更高计算成本下优于统计学,但在更低计算成本下日益优于科学计算,从而重塑了科学前沿。

0 人收藏 0 人点赞
#research-evaluation

学术界的D-index衡量竞赛

Hacker News Top ↗ · 2026-09-02 缓存

本文批判了学术界对可量化指标的过度依赖,例如引用计数和指数,并探讨了Research.com引入的D-index作为另一个有问题的衡量标准。

0 人收藏 0 人点赞
#research-evaluation

衡量人类与LLM研究思路之间的差距

Hugging Face Daily Papers ↗ · 2026-07-01 缓存

本研究论文引入了一个框架,用于衡量人类生成与LLM生成的研究思路之间的分布差距,发现LLM思路集中在特定的机会模式与综合方法上,而人类思路则更为多样化。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈