为未来保护语言

# 为未来保护语言 来源：https://openai.com/index/government-of-iceland/ OpenAI 的一张照片显示，一辆汽车沿着狭窄的道路行驶，道路两侧被水环绕，背景中是白雪覆盖的山峰，天空晴朗。 冰岛是北大西洋中部的一个岛国，拥有充满活力的科技产业和蓬勃发展的旅游业。虽然其约 37 万居民中大多数都会说英语或其他第二语言，但与美国和欧洲的融合使得该国的本土语言冰岛语面临风险。如今，越来越多的人担心，如果冰岛语在快速数字化的冲击下无法保持作为该国默认语言的地位，这种语言可能会事实上走向灭绝。 冰岛人珍视自己的语言，因为它蕴含丰富的文化遗产并与国家认同紧密相连。该国政府设有语言规划部门，为新概念创造冰岛语术语，而不是采用来自其他语言的"借词"。例如，计算机在冰岛语中被称为*tölva*（"数字女预言家"）。通过这些努力，这种语言保持了其独特的特征，并与其古老的北欧语言根源保持密切联系。 在该国总统 H.E. Guðni Th. Jóhannesson 的倡议下，借助私营产业的帮助，冰岛与 OpenAI 合作，利用 GPT-4 来保护冰岛语——并将防守立场转变为创新机遇。 这一合作不仅旨在提升 GPT-4 在全球新地区的服务能力，同时也是朝着创建可用于促进其他低资源语言保护的资源迈出的一步。 > "这一合作不仅旨在提升 GPT-4 在全球新地区的服务能力，同时也是朝着创建可用于促进其他低资源语言保护的资源迈出的一步。" "我们希望确保人工智能不仅用于帮助保护语言、文化和历史，还能支撑经济繁荣，"非营利语言技术中心 Almannarómur 的首席执行官 Jóhanna Vigdís Guðmundsdóttir 表示。"冰岛语有些特殊，"她承认道，"但我们看到了成为其他小众语言先驱、帮助创建公平竞争环境、避免'人工智能鸿沟'的机会。仅为冰岛语本地收集数据并构建软件是不够的；我们必须将我们的语言融入到人们每天使用的软件和应用程序中。" OpenAI 的 GPT 模型是在互联网上的大量文本基础上训练的。因此，该模型的大部分训练集都是英语和其他主要语言，这意味着 GPT 在较小语言上的能力和理解广度不如在大语言上那样强。这些模型随着时间的推移有所改进，但它们并不能始终产生清晰准确的冰岛语翻译。 Stjorn Almannaroms Almannarómur 的董事会。 **提示**Hvað heitir Donald Duck á íslensku?Donald Duck 在冰岛语中叫什么？ **GPT-3 完成**Donald Duck heitir á íslensku Donaldi KjániDonald Duck 在冰岛语中叫"傻瓜唐纳德"*不正确* **ChatGPT 完成**Donald Duck heitir sama nafni á íslensku og enskuDonald Duck 在冰岛语和英语中名字相同*不正确* **GPT-4 完成**Donald Duck heitir Andrés Önd á íslenskuDonald Duck 在冰岛语中叫 Andrés Önd*正确* 虽然 GPT-4 在冰岛语上的表现远好于 GPT-3.5，但它仍然会产生语法错误、"翻译腔"和不正确的文化知识。为了改变这一状况，语言技术公司 Miðeind ehf 的首席执行官 Vilhjálmur Þorsteinsson 召集了 40 名志愿者组成的团队，在适当的冰岛语语法和文化知识方面训练 GPT-4。 在一个称为"人类反馈强化学习"（RLHF）的过程中，人类测试员向 GPT-4 提供提示，系统会生成四个可能的完成结果。测试员随后从这四个响应中选择最佳答案，并进行编辑以创建理想的完成结果。这个过程的数据随后被用来进一步训练 GPT-4，以便在未来生成更好的响应。 在 RLHF 之前，微调模型的过程需要大量的劳动力和数据。Þorsteinsson 的团队尝试用 300,000 个冰岛语示例微调 GPT-3 模型，但结果令人失望。 > "GPT-3 根本没有能力生成语法正确或准确的冰岛语。" Vilhjálmur Þorsteinsson，Miðeind ehf 首席执行官 "现在我们可以直接跳到大型模型的通用能力，"Þorsteinsson 说，"并用我们的语言实现那些曾经需要大量手动工作、数据准备和针对每个用例资源收集的功能。"RLHF 仅用 100 个示例就能产生结果，这使得其他可用数字语言数据较少的低资源语言更容易复制这个过程。 任何语言模型的性能都取决于其训练数据的强度和广度。简单的语言模型仅限于简单任务，如评估推文的情感或识别公司名称。更复杂的模型是多面手，能够处理抽象概念、考虑社会和环境背景，甚至表现出一定程度的创意。例如，GPT-4 能够用古冰岛诗歌《Völuspá》的风格创作关于现代生活变幻莫测的诗歌，而《Völuspá》是来自北欧神话《诗体埃达》的古老冰岛诗歌。 Mideind Team Miðeind 的人工智能研究团队一直在用冰岛语训练 GPT-4。 根据提问的语言不同，GPT-4 对同一问题给出不同答案。 **提示（冰岛语）**Hvað sitja margir á þingi? **完成**Á Alþingi, sem er lögþing Íslands, sitja 63 þingmenn.在冰岛议会 Alþingi 中，有 63 名议员。 **提示（英语）**有多少名议员？ **完成**这取决于你指的是哪个国家。例如：/ • 在英国，下议院有 650 名议员，上议院约有 800 名议员。/ • 在加拿大，下议院有 338 名议员，参议院有 105 名参议员。/ • 在印度，人民院有 545 名议员，联邦院有 245 名议员。/ • 在澳大利亚，众议院有 151 名议员，参议院有 76 名参议员。 **提示（冰岛语）**Hver er forseti núna? **完成**Forseti Íslands núna (2021) er Guðni Th. Jóhannesson.冰岛目前（2021 年）的总统是 Guðni Th. Jóhannesson。 **提示（英语）**现在的总统是谁？ **完成**截至 2021 年，美利坚合众国总统是乔·拜登。 完成一轮 RLHF 后，该模型仍有改进空间。这是冰岛团队的持续工作：继续用足够的示例训练 GPT-4，使该模型能够支持冰岛语中最复杂和最具创意的应用，而不是默认使用英语，这样冰岛公司很快就能在其交互应用中部署冰岛语版 GPT-4。 **提示**Er það algengt að íslensk börn séu látin sofa úti í vagni?冰岛婴儿在室外婴儿车中午睡是常见的吗？ **完成**Já, það er algengt að íslensk börn séu látin sofa úti í vagni, sérstaklega á vori og sumri. Margir foreldrar telja að útiloft og fersk hrein vindur séu góðir fyrir börnin og auki séu þau oftast rolegri við að sofna úti. Æskilegt er að fylgjast vel með veðurfari og hitastigi, og passa að barnið sé nægur klætt eftir aðstæðum. **修正语法和拼写后的完成**Já, það er algengt að íslensk börn séu látin sofa úti í vagni, sérstaklega á vori og sumri. Margir foreldrar telja að útiloft og ferskur hreinn vindur sé góður fyrir börnin og að auki séu þau oftast rólegri við að sofna úti. Æskilegt er að fylgjast vel með veðurfari og hitastigi, og passa að barnið sé nægur klætt eftir aðstæðum.是的，在春夏时节，冰岛婴儿在室外婴儿车中午睡很常见。许多父母认为室外空气和清新的风对婴儿有益，而且孩子在室外睡眠时通常更平静。最好要密切关注天气和温度，并确保婴儿根据情况穿着得当。 Þorsteinsson 的团队不仅将在自己的语言中训练全球最强大的语言引擎，还将为整个国家提供用自己的语言与 OpenAI 模型交互的机会。因此，以 GPT-4 作为后端，Miðeind 的语音助手应用 Embla 将能够用流利的冰岛语与用户进行对话，同时提供对其他语言的翻译。再比如，冰岛公司不必依赖于网站上的英语聊天机器人，而是可以使用冰岛语的聊天机器人。 > "我们对我们的工作对更大模型的影响感到兴奋——同时很高兴能获得 OpenAI 的支持，帮助冰岛语在数字时代生存下去。" Vilhjálmur Þorsteinsson，Miðeind ehf 首席执行官 ## 相关文章