MariaDB“穿越时间的维基百科”挑战赛的黑客松项目:匹配任意历史日期的七种维基百科版本中的句子 [P]
摘要
Parallax 是一个 Junction 黑客松项目,利用 MariaDB 系统版本化表、bge-m3 嵌入向量和充当跨语言评判者的 Gemini 3.8 Flash,对齐七种语言版本的维基百科在过去任意日期的陈述,以检测各版本之间的分歧并核实聊天机器人的回答。
这个周末在埃斯波的黑客马拉松 Junction 上做出了这个项目。Parallax 获取一篇文章,将其芬兰语、瑞典语、德语、英语、俄语、爱沙尼亚语和乌克兰语版本中的陈述逐一对齐。选定过去的任意日期,它就能显示各语言版本在哪些地方说法不同。我们存储每一次修订,目前已有 875,572 次。每个修订版本都会被拆分成句子。一个句子如果在修订版本 A 中出现、在修订版本 B 中消失,就会成为系统版本表中的一行记录。它的系统时间区间,就是该语言版本包含这句话的时间段。24 小时内被撤销或通过回退操作撤销的编辑会被过滤掉,以免破坏性编辑缩短句子的存续时间。每个不同的句子只用 bge-m3 生成一次嵌入向量(1024 维),无论它出现在多少个修订版本中。总计 90,070 个向量,在 A100 上以每秒约 4,555 个句子的速度生成。一条 SQL 语句就能完成时间回溯和匹配:自连接的两侧都通过 FOR SYSTEM_TIME AS OF 读取所选日期的数据,再由 VEC_DISTANCE_COSINE 对其他各语言版本中距离最近的五个句子进行排序。在单篇文章内,精确搜索比 HNSW 索引更快(耗时中位数为 4 毫秒),因此比较时使用精确搜索。在整个数据库范围内,则使用索引;当 ef_search 为 1000 时,相对于精确搜索的 recall@10 为 0.997。仅靠检索还不够。在我们人工核查的 28 对句子中,正确句子排在第一位的比例只有 57%,但进入前五名的比例为 89%。因此,Gemini 3.8 Flash 会将每对候选句子判定为相同、部分相同、相互矛盾或不同,提取存在差异的数字和术语,并将陈述翻译成英语。判定结果会连同模型和提示词版本一起缓存。同一套流程也用于核查聊天机器人的回答。回答会被拆分成若干陈述,再逐条到各语言版本中查找。如果 Gemini 响应缓慢,就仅凭向量相似度作出判断,并在结果中注明。我们问 Gemini 冬季战争是如何开始的,得到了 17 条陈述。其中 11 条至少出现在一个语言版本中,5 条未出现在任何版本中,而汉科租借一事被标记为存在争议,因为爱沙尼亚语文章在 2009 年删除了相关内容。薄弱环节在于评判模型。用 28 对人工核查的句子来评估一个评判模型,样本量很小,尤其是还涉及七种语言。如果你评估过用于跨语言句子对的 LLM 评判模型,你是如何构建黄金标准数据集的?演示(已预加载冬季战争):https://135.181.63.238.sslip.io/t/Q134949 代码和完整查询:https://github.com/timkicker/attention-is-all-we-have/tree/main/parallax
相似文章
WikiFix for Confluence
在 Product Hunt 上发布的 WikiFix for Confluence 可以监控知识库中互相矛盾的页面、重复内容和孤立页面,经审批后一键修复,让团队能够信赖 AI 所使用的内容。
Show HN:Wikihack——类似 HackerTube,但面向 HN 上提到的维基百科文章
Wikihack 是一款纯前端网页工具,可抓取 Hacker News 中提及的维基百科内容,并以可滚动的信息流呈现,提供热门、随机和上升榜单,灵感来自 Karpathy 的 HackerTube 和 Hackerbooks。
Codex,但让它变得奇怪。Hahahacks。
OpenAI主办了一场名为'Haha Hacks'的趣味黑客马拉松,开发者使用Codex创建荒诞幽默的项目,突显AI在编程中的创造潜力。
Show HN:CodeAlmanac – 从你的对话中生成 Karpathy 风格的代码库维基
CodeAlmanac 是一款开源 CLI 工具,能够为你的代码库创建并维护一个动态维基,利用 Codex 或 Claude 等 AI 编码代理,从对话中捕捉设计决策和上下文。
Show HN:HackerHack——专为 HN 发帖而生的 HackerBooks
Hacker News 首页精选,包含多个 Show HN 项目:HackerHack(类似 HackerBooks 的帖子聚合器)、Wikihack、HackerTube,以及其他热门话题,包括因 AI 辅助查错而推迟发布的 Postgres 19。