一款自我教学的分类器：用于动态文档分类的自我改进式冻结门训练（SIFT）

arXiv cs.CL 论文
document-classification self-improving frozen-gate-training sift sparse-encoding llm-judge safety-mechanism

摘要

SIFT引入了一种自我改进的文档分类器，它使用成本低廉的SPLADE-LightGBM管道和LLM评判器持续自我教学，同时通过冻结门安全机制防止无声退化，从而无需人工标注开销即可实现自主再训练。

arXiv:2607.18358v1 公告类型：新论文 摘要：文档分类在实验室中是一个已解决的问题，在企业中却尚未解决。阻碍因素很少是模型架构，而是构建模型之前必须进行的标注项目，以及机构对让模型自行再训练的恐惧。我们提出了SIFT（Self-Improving, Frozen-gate Training，即自我改进式冻结门训练），一种动态分类器服务，它同时解决了这两个问题。SIFT通过一个故意采用低成本、CPU受限的管道——一个SPLADE稀疏编码器接LightGBM头部——来提供分类服务，并且仅将低置信度的少数页面升级给LLM评判器处理。评判器的裁决结果被写回标注语料库，从而让昂贵模型持续教导廉价模型：升级率下降，语料库通过生产流量增长而非前期人工标注工作，准确率随使用而提升。接入新的文档族只需声明式捆绑包、标签空间、锚定短语和评判器词汇表，无需标注项目。更困难的问题是安全性：自主再训练的分类器可能无声退化。SIFT通过一个两部分的提升门（关键标签F1回归检查加上一个模型从未训练过的冻结黄金回归集）来解决此问题，这两者中任何一项都可否决提升。这便将“无需人工的每月再训练”从鲁莽行为变为例行公事。我们描述了架构、自我喂养的语料库循环、冻结门提升机制以及一个说明性的多领域部署，并讨论了边际标注成本趋近于零的分类器的经济性。
查看原文
查看缓存全文

缓存时间: 2026/07/22 08:23 

# 自我教学式分类器：面向动态文档分类的自改进冻结门训练（SIFT）
来源: https://arxiv.org/abs/2607.18358
查看PDF (https://arxiv.org/pdf/2607.18358)

> 摘要：文档分类在实验室中是已解决的问题，但在企业环境中仍未得到解决。障碍很少在于模型架构，而在于模型投产前必须完成的标注项目，以及机构对让已有模型自我重新训练的恐惧感。我们提出 SIFT（自改进冻结门训练），一种动态分类器服务，同时攻克了这两个问题。SIFT 通过一个刻意轻量级、基于 CPU 的流水线提供分类服务——SPLADE 稀疏编码器配合 LightGBM 分类头——并且仅将低置信度的小部分页面升级到 LLM 评判器处理。评判器的判定结果会被写回标注语料库，因此昂贵的模型不断教导廉价的模型：升级率下降，语料库从生产流量中自然增长而无需事先标注工作，准确度随着使用复合递增。接入新的文档家族只需要一个声明式绑定、标签空间、锚定短语和评判器词汇表，无需标注项目。更困难的问题是安全性：自主重新训练的分类器可能会静默退化。SIFT 通过一个两部分提升门来解决这个问题：一个关键标签 F1 回归检查，加上一个模型从未训练过的冻结黄金回归集，两者中任一都可以否决提升。这将“每月无需人工重新训练”从鲁莽变为常规。我们描述了架构、自馈送语料循环、冻结门提升机制，以及一个说明性的多域部署，并讨论了边际标注成本趋近于零的分类器的经济性。

## 提交历史

来自：Bogdan Raduta \[查看邮件 (https://arxiv.org/show-email/8c675b53/2607.18358)\] **\[v1\]** 2026年7月20日星期一 12:38:50 UTC (92 KB)

相似文章

基于快速树搜索的自我改进

arXiv cs.AI

本文介绍了一种名为递归自我改进快速树搜索（SIFT）的样本高效框架。该框架利用轻量级树搜索，由LLM-as-a-judge评估指导，以在预算约束下提升编码代理的性能，其资源成本低于现有方法。

冻结的像素空间扩散模型可利用自身样本进行自我引导

Hugging Face Daily Papers

本文介绍了合成自引导（Synthetic Self-Guidance, SSG）方法，该方法将一个轻量级预测头附加到冻结的预训练像素空间扩散模型上，在采样过程中利用中间预测与最终预测之间的差异作为自引导。研究表明，模型生成的样本足以训练这个预测头，在无需分类器自由引导（CFG）的情况下，多个变体的FID降低了50%以上，并且增强了使用CFG的强基线。

自蒸馏实现持续学习 [pdf]

Hacker News Top

介绍了自蒸馏微调（SDFT），一种通过示范实现同策略学习的方法，能够在不发生灾难性遗忘的情况下实现持续学习，性能优于监督微调。