推出 Heretic Grimoire:抗封禁、本地优先的备份系统,让未经审查的模型永久可用

Reddit r/LocalLLaMA 工具

摘要

Heretic 1.4 引入了 Grimoire 系统,允许用户在本地存储所有 Heretic 模型的 9KB 可重现清单,无需重新计算即可恢复模型,提供抗封禁的备份功能。

欢迎来到另一集《THE HERETIC SHOW》,在这里,威权主义的梦想被极其有效的线性代数粉碎!首先宣布一项重要消息: ## Heretic 现已在 https://heretic-project.org 上线官方网站 该网站包含: * 指向 Heretic 项目所有官方资源的链接 * 完整的 Heretic 使用教程 * 包含多个冗余安装源的详细安装说明 * 所有配置参数的可搜索文档 无法保证 GitHub 和 Hugging Face 等平台未来会继续托管 Heretic 资源,因此我建议收藏此网站,因为它将始终指向各个项目资源当前所在的位置。   但现在进入正题。 你可能已经注意到,对本地 LLM 的敌意正在各地增长,尤其是针对像 Heretic 创建的这类反审查模型。该项目已经收到了 Meta 的法律通知,并被主流媒体妖魔化。不幸的是,AI 世界仍然依赖于模型托管的巨型单点故障,而且由于 LLM *非常庞大*,难以替代。如果这个单点故障某天因为某种原因真的失效了怎么办?如果为了获取 Heretic 模型,你不再能简单访问 Hugging Face 了怎么办?如果社区投入的数万小时创建这些模型的工作突然消失了怎么办?这个生存风险困扰我一段时间了,经过几个月的工作,我很高兴地宣布我们现在有了解决方案: *每个人只需将所有 Heretic 模型下载到自己的系统!* 这样,如果原始模型被删除,你仍然有本地副本。简单吧?现在你可能觉得这是个愚蠢的笑话。那么,关键来了: **每个模型只有 9KB,** 所以你可以存储数千个模型在手机上而毫无察觉。 ## The Heretic Grimoire 在 Heretic 1.3 中,我们引入了可重现模型。当使用 Heretic 将 abliterated 模型上传到 Hugging Face 时,你现在可以选择包含可重现信息,这些信息将以人类可读形式存储在模型仓库中。另外还有一个名为 `reproduce.json` 的机器可读文件,其中包含重现模型所需的所有信息。这个文件就像 Grimoire 中的咒语,让你召唤的不是恶魔实体,而是它所属的同一个模型。它是一个 9KB 的文本文件,包含了整个模型。 **Heretic 1.4** 于今天发布,包含处理这些文件的全面功能,我称之为 Heretic Grimoire 系统。工作原理如下: 首先,确保你拥有最新的 Heretic 版本,这是使用这些特性的前提: `pip install -U heretic-llm` 现在你可以从 Hugging Face 上公开可用的 Heretic 模型中获取所有 `reproduce.json` 文件,并将它们存储到你选择的目录中(本例中为 `my_grimoire`): `heretic --collect-reproducibles my_grimoire` 你现在拥有所有可重现 Heretic 模型的本地备份,并已正确编目。要更新此集合,只需再次运行该命令。它作为仅追加备份运行,即使 Hugging Face 上不再存在相应模型,也绝不会删除文件。 要恢复其中一个模型,只需运行: `heretic --reproduce path/to/reproduce.json` Heretic 将引导你完成整个过程,检查你的环境与创建模型时使用的环境,并指出可能存在问题的不匹配之处。制作原始模型所需的数小时计算**无需**重新进行,整个过程通常只需一分钟左右。导出结果模型后,Heretic 将验证权重文件的哈希值是否与重现清单中存储的一致(它们可能相同也可能不同,具体取决于你的系统与原始系统的接近程度)。 就是这样!虽然 Grimoire 系统是从头开始设计为本地备份的,但你也可以在 [**这个漂亮的应用程序**](https://huggingface.co/spaces/heretic-org/Heretic-Grimoire) 上查看完整可重现模型列表,该列表每天更新两次,由长期 Heretic 贡献者 Vinay Umrethe 创建,他还实现了可重现系统的第一部分。即使在今天,此应用已经保存了至少 10 个已从 Hugging Face 移除的模型,允许随时重新创建它们。 1.4 版本还包含其他一些重要改进和错误修复,你可以在 [发布说明](https://github.com/p-e-w/heretic/releases/tag/v1.4.0) 中查看。最值得注意的是,你现在可以选择导出 LoRA 而不是完整模型,这提供了另一种廉价模型存储的途径,并开启了有趣的可能性,例如手动与非标准权重合并。   ## Heretic 在 IPFS 上的发布 在过去的两个月里,Heretic 项目逐渐采用了去中心化和联邦基础设施。我们现在有一个 Matrix 空间、冗余的 Git 托管,并且每个 Heretic 版本现在都可以通过 IPFS 获取,从而实现发布存档及其签名数据的去中心化检索。CID 如下: | 文件名 | CID | | ------------------------------- | ------------------------------------------------------------- | | heretic-1.4.0.zip | `bafybeiaqxqjdtkkrqeamnkjudvxlnrj7mululk3ipiafcyfhp2i3chbnue` | | heretic-1.4.0.zip.sigstore.json | `bafkreidhxgotlfko23bajxbcoruljpt7wkuytew7fjuglotjpr3cm7bwi4` | | heretic-1.3.0.zip | `bafybeianhsrnlkxdf5btyvgsaahqkhurmrowkuk4ymddz37wcnxz7gjxoe` | | heretic-1.3.0.zip.sigstore.json | `bafkreiflkjpyazath4n4lhoi67rvgds4k3spcsqjloeby4uj2cs232s6ui` | | heretic-1.2.0.zip | `bafybeifxnfy6tkakofe5ktlmeayk6edhja6neuv37bldimiq76dncicqqa` | | heretic-1.2.0.zip.sigstore.json | `bafkreiaz64yklnigwrgq63ibt5udpaupe3blqposfjdzkcytdf2whrly6q` | | heretic-1.1.0.zip | `bafkreibf3anxagvlhuvlsbbix5apc2jf2azz76lhuh27dyuzvc6ptiseka` | | heretic-1.1.0.zip.sigstore.json | `bafkreiapgtrl6qyybalmswzfz7dm2a7a4svsjs2sg5svm2orua5druafty` | | heretic-1.0.1.zip | `bafkreiag3mlkc76bhwcudhm7osqxdhmvywmc4kncdbc5ajtnd7tih4ftem` | | heretic-1.0.1.zip.sigstore.json | `bafkreibmtnfu2mtri3jcpewod3b2xj25xlo6xo4gyp7t3jyw5ttwmwubae` | 请访问 https://heretic-project.org/security 了解如何验证签名。如果你恰好运行了一个 IPFS 节点,请固定这些文件(每个只有几百 KB),以帮助它们保持对所有人可用! 祝好 :)
查看原文

相似文章

《金融时报》发表了一篇关于Heretic的文章

Reddit r/LocalLLaMA

《金融时报》重点介绍了Heretic,这是一个GitHub工具,可以在几分钟内移除Meta的Llama 3.3模型的护栏。该工具已创建超过3,500个“去审查”模型,并获得了1300万次下载,引起了主流关注。

Heretic 已收到 Meta, Inc. 的法律通知

Reddit r/LocalLLaMA

Meta 向 Heretic 项目发出法律通知,涉及对其 Llama AI 模型的衍生作品,促使该项目移除权重并宣布计划通过官方 Codeberg 镜像实现基础设施多样化。