标签
本文检验了同名情绪标签（例如恐惧、惊讶）在 GoEmotions、XED 和 BRIGHTER 数据集中是否具有相同含义，发现这些标签存在大规模不匹配，跨语料库迁移性能下降，且在某些情况下，分类器会因所用训练资源不同而得出相反的结论。
本文评估了大语言模型在MQM和ESA两种评价框架下、涵盖70个语言对以及WMT23/WMT25数据集的机器翻译质量评估中替代人类标注员的能力，发现无论人类还是大语言模型在许多场景下仍不可靠，并提出人机协作的标注流程。
arXiv 论文中提出的 Goldsmith 智能体标注流水线，能够将小规模专家标注的黄金数据集转化为结构化标注定义，并通过可执行的损失引导循环进行优化，在效果上优于直接重写、OPRO、APE 和 PromptBreeder 等方法。
研究者提出一个基于理论框架的基准数据集，用于自动检测在线新闻和社交媒体中的精神健康污名，并评估了大语言模型及毒性/情感分类器的表现。结果表明，相邻构念难以有效捕捉污名特征，且除非提供明确的操作化规则，大语言模型会过度预测污名。
本文表明，大型语言模型 (LLMs) 的标注质量与人类专家相当，主要挑战在于最小化编码规则中的歧义，而不是在人工和机器编码者之间选择。
介绍了 ParsHate，一个手动标注的 10,000 条波斯语推文数据集，用于仇恨言论和目标检测，展示了当前模型的中等性能，并强调了需要更先进的方法。
该论文报告了对Quran诵读抄本的人工标注，以区分错误、重复和修复，并由评估器对标签和位置进行评分，初步评估编码代理显示高性能。
Herdr的一个原型插件已经发布，使得通过键盘快捷键进行标注任务成为可能，这可能在类似的工作流程中取代对Plannotator的需求。
Omasnap 已更新，包含超过70个PR，新增了多行文本、剪切部分和改进的编辑功能，同时保持其轻量级的800KB二进制文件，适用于Wayland和Hyprland环境。
LightwheelAI和Hugging Face发布了EgoSuite-Open100K，这是一个包含100,000小时第一人称视角人类活动的大规模开放数据集，完全标注并以LeRobot格式提供，用于AI研究和训练。
本文介绍了MUSE，一个从研究论文中挖掘出的全文本、多领域科学知识库，包含问题-解决方案-理由三元组，以及一个抽取流水线和关于理由监督LLM微调的初步实验。
Omasnap 是一款适用于 Omarchy 和 Hyprland 的全新原生 Wayland 截图与标注工具，提供矢量图层、OCR 捕获以及通过 Wayland 协议实现的干净窗口捕获。
Obsidian PDF++ 是一个 Obsidian 插件，可将 PDF 反向链接转换为高亮注释，实现基于 Markdown 的 PDF 注释，并改善内置 PDF 查看器的使用体验。
这篇arXiv论文介绍了CohortHijack，一种鲁棒性审计方法，通过从单细胞查询队列中移除非目标细胞，来测试在不改变目标细胞表达谱的情况下，注释工具可能如何被操纵。研究表明，在保留目标细胞的同时，结构化移除和搜索策略可以改变主流流程中的精炼标签，从而将查询队列组成识别为一个攻击面。
This paper presents MMLongBench-Doc-V2, a corrected and semantics-aware revision of the MMLongBench-Doc long-document QA benchmark, fixing annotation errors and replacing string matching with an LLM judge, along with a decision procedure for empty-set keys.
This paper argues that the loanword-vs-switch annotation boundary, rather than the choice of model, drives Kazakh-Russian code-switching identification. The authors present a document-level gold LID dataset with an explicit annotation rule and show that naive heuristics and off-the-shelf LID tools fail to distinguish integrated borrowings from genuine code-switches.
本文提出了一种从社交媒体文本构建大规模俄语数据集的方法，用于检测自杀前兆和反自杀信号，包括标注指南和基线分类实验。