最新

全部文章,按抓取时间从新到旧排列。

Cards List

测量部分分数差距:越南2025凸面评分方案的严格基准测试

arXiv cs.AI · 9小时前 缓存

本文介绍了THPT-Ladder,这是一个使用越南2025凸面评分方案评估AI模型的基准测试,揭示了部分分数差距如何导致与标准准确度指标相比的不准确评估。

0 人收藏 0 人点赞

大型语言模型中的比喻与文化知识:通过微调研究跨领域迁移

arXiv cs.CL · 9小时前 缓存

本研究探讨了在大型语言模型上微调文化数据是否能提升比喻语言的理解能力,反之亦然。研究发现,虽然诗歌微调能增强成语理解,但文化微调可能会降低谚语准确率,突显了两者之间关系的非直接性。

0 人收藏 0 人点赞

治理记录作为监督:验证器选择的自训练用于结构化工作流修复

arXiv cs.AI · 9小时前 缓存

本文研究了利用机器可验证工作流的治理记录作为监督信号,训练语言模型执行结构化工作流修复,证明验证器选择的自训练能提升执行效率和有效性。

0 人收藏 0 人点赞

面向自主科学代理的以工件为中心的主张感知可观测性

arXiv cs.CL · 9小时前 缓存

本文提出了一种针对自主科学代理的主张感知可观测性框架,强调工件沿袭和审计关系,以提高科学工作流程的透明度和错误检测能力。

0 人收藏 0 人点赞

利用 PyTorch 原生栈在服务器 CPU 上高效进行小型 NLP 模型的 INT8 推理

arXiv cs.CL · 9小时前 缓存

本文将 SmoothQuant 集成到 PyTorch 的原生栈中,以在 Intel Xeon CPU 上高效进行小型 NLP 模型的 INT8 推理,实现了高达 5.8 倍的加速,且精度损失可忽略不计。

0 人收藏 0 人点赞

ComponentBench: 诊断计算机使用代理中的组件级故障

arXiv cs.AI · 9小时前 缓存

ComponentBench 引入了一个基准和诊断管道,用于评估计算机使用代理在现代网页用户界面中的组件级交互,通过关注现实、短暂的交互来诊断跨模型的故障,从而填补当前评估方法的空白。

0 人收藏 0 人点赞

大语言模型在文本之外安全吗?表情符号是否暴露了安全评估的漏洞?

arXiv cs.CL · 9小时前 缓存

本文通过研究表情符号增强的提示,探讨了大语言模型在文本输入之外的安全性,揭示了当前安全评估的漏洞和模型依赖性漏洞。

0 人收藏 0 人点赞

SESSE: 草图、扩展、排序、总结、评估 -- 通过结构化分解的LLM-as-Judge评估

arXiv cs.AI · 9小时前 缓存

SESSE是一个无需训练的框架,将整体性的LLM-as-Judge评估分解为结构化子问题,从而提高可解释性并诊断标签模糊性,同时与微调模型达到竞争性的性能。

0 人收藏 0 人点赞

LLMs 何时真正有效?评估 LLMs 作为数据质量标注器

arXiv cs.CL · 9小时前 缓存

本研究评估了 LLMs 在电子商务任务中作为数据质量标注器的表现,发现当需要背景知识时,它们优于基线方法,但对于具有强烈词汇信号的任务优势有限,同时展示了跨运行的高度一致性。

0 人收藏 0 人点赞

大型推荐解释中LLM-as-a-Judge的生命周期

arXiv cs.AI · 9小时前 缓存

本文提出了一个在Netflix使用大语言模型作为评判者来评估推荐解释的生命周期框架,涵盖从开发到部署和监控的各个阶段,并通过A/B测试取得了积极结果,显示用户参与度得到提升。

0 人收藏 0 人点赞

评估开源模型在高风险公共部门应用中的结构化信息提取

arXiv cs.AI · 9小时前 缓存

本文对开源OCR、LLM和VLM系统在高风险公共部门应用中的结构化信息提取进行了基准测试,发现VLM通常优于OCR+LLM流水线,但大多数配置在零样本设置中表现不佳,强调了输入质量的关键作用。

0 人收藏 0 人点赞

道义缺口:大型语言模型与义务的模态语言

arXiv cs.CL · 9小时前 缓存

研究考察了大型语言模型对道义情态词的使用情况,发现与人类相比,模型较少使用'must'和'should'等术语,这反映了其训练基于正式书面语料库。

0 人收藏 0 人点赞

葡萄牙语语言模型:一项系统映射研究

arXiv cs.CL · 9小时前 缓存

本调查系统映射了46个葡萄牙语语言模型,分析其发展、特征、演进,并识别该领域的研究空白和未来方向。

0 人收藏 0 人点赞

可通过设计实现缓存?针对边缘内存带宽墙的Mixture-of-Experts路由器局部性训练:一项预注册的负面结果与系统测量研究

arXiv cs.AI · 9小时前 缓存

本文提出了一项关于训练Mixture-of-Experts路由器以实现缓存局部性对抗内存带宽墙的预注册负面结果,表明尽管采用了训练机制,未命中率降低与语言建模质量之间存在权衡。

0 人收藏 0 人点赞

对齐就是一切:面向通用音频-语言模型的无指令训练

arXiv cs.CL · 9小时前 缓存

本文介绍了一种无指令的纯对齐方法,用于构建大型音频-语言模型,该方法通过冻结LLM和音频编码器,仅在自生成数据上训练一个轻量级投影器,实现了与传统多阶段流程相比更少数据下的竞争性性能。

0 人收藏 0 人点赞

Redakto - LLMs 的隐身标签

arXiv cs.AI · 9小时前 缓存

Redakto 是一个开源工具,旨在在将文本输入大型语言模型之前对其进行匿名化,通过 PII 编辑和假名化确保隐私,并进行了关于隐私和实用性的实证评估。

0 人收藏 0 人点赞

你由提示定义:农业食品视觉语言模型中的提示质量、领域偏移与不确定性

arXiv cs.CL · 9小时前 缓存

本文研究农业食品视觉语言模型中的提示集成和领域偏移,引入基于提示的不一致性检测(PID)以增强可靠性,利用提示分歧作为不确定性代理。

0 人收藏 0 人点赞

GenEx:基于密码子共现网络的SARS-CoV-2变体检测图表示范式

arXiv cs.AI · 9小时前 缓存

GenEx是一种新型基于图的流程,它将SARS-CoV-2基因序列转换为密码子共现图以检测变体,使用MSCG和LAPCG等技术,并通过基准测试的机器学习模型证明了其有效性。

0 人收藏 0 人点赞

从非侵入式脑电记录中准确解码自然语句

arXiv cs.CL · 9小时前 缓存

本文介绍了Brain2Qwerty v2,这是一个AI模型,能从非侵入式脑磁图记录中准确解码自然语句,词错误率为39%,证明了数据规模化有助于缩小与侵入式方法之间的性能差距。

0 人收藏 0 人点赞

叙事熵(Sn)的操作化:一个两场景的注册试点报告与预验证协议

arXiv cs.CL · 9小时前 缓存

本试点报告在Bulut Doctrine框架内,通过手动评分两个叙事场景,操作化了叙事熵(Sn),揭示了与初始直觉的偏差,并预注册了构念效度测试以供未来验证。

0 人收藏 0 人点赞
← 上一页
下一页 →
← 返回首页

提交意见反馈