talkie-lm/talkie-1930-13b-it · Hugging Face

来源：https://huggingface.co/talkie-lm/talkie-1930-13b-it

talkie-1930-13b-it 是一款 130 亿参数的复古风格语言模型。它是 talkie-1930-13b-base 的指令微调版本，后者基于 2600 亿 token 的 1931 年前英语文本进行训练。

talkie-1930-13b-it 使用了一种新颖的指令-回复数据集进行微调，该数据集提取自 1931 年前的参考书籍，包括礼仪手册、百科全书和书信写作指南等。随后，模型通过强化学习（在线 DPO，使用 LLM 作为评判）进一步提升了指令遵循能力。

了解更多关于 talkie 的信息，请阅读我们的报告（https://talkie-lm.com/）。

运行 talkie 的参考代码可在 GitHub 上获取（https://github.com/talkie-lm/talkie）。