turkish-nlp

HakemBench 推出了一个开放的土耳其语基准（CC BY 4.0），面向“类型化决策”——即针对固定选项输出经过校准的概率，涵盖事实核查分流、法律路由、内容审核等七个赛道。该基准从决策质量（宏平均 F1）、校准度（Brier 分数）和选择性自动化（风险-覆盖）三个维度进行评估，同时坦诚地披露了其 AI 生成的黄金标签存在的缺陷，以及对实验室自身模型进行非盲评估的问题。

本文详述了ufakzeka-1，一个从零构建的151M参数土耳其语言模型，总成本约286美元，描述了训练流程、评估方法以及小模型训练局限性的关键发现。

本文针对土耳其语RAG系统，比较了分块与嵌入策略，并通过多配置系统研究评估了其对文档问答的影响。

本文提出了embeddingmagibu-200m，一个专注于土耳其语的句子嵌入模型，通过跨语言分词器手术和离线蒸馏构建，在土耳其语基准测试中取得了强劲性能，同时实现了成本与质量的平衡。