@eliebakouch:@OpenAI 这次发布太棒了!一个总参数量 1.5 B、仅激活 50 M 的 gpt-oss 架构 MoE,能从万亿级数据中廉价滤除隐私信息…
摘要
OpenAI 发布 15 亿总参数的 MoE 模型,仅激活 5000 万参数,即可在万亿 token 数据集中过滤隐私信息,同时保持 128 k 上下文长度。
@OpenAI 这次发布太棒了!一个总参数量 1.5 B、仅激活 50 M 的 gpt-oss 架构 MoE,能从万亿级数据中廉价滤除隐私信息。在如此小的模型上还能保持 128 k 上下文,非常惊艳。
相似文章
@iotcoi:OpenAI 训练了完美 LLM,让 OpenAI 自己都看不到数据 openai/privacy-filter Apache 2.0,1B 参数 MoE,本地运行 我的……
OpenAI 发布 10 亿参数 Apache-2.0 MoE 模型,可在任何 LLM 接收前自动脱敏,实现完全本地、零泄露的工作流。
@witcheer: 难以置信 gpt-oss-20b 在 8GB 显存上的表现。21B 总参数,3.6B 活跃参数(MoE)。OpenAI,Apache 2.0。仅使用 1.8 GB 显存…
一个全新的开源 MoE 模型,gpt-oss-20b(总共 21B,活跃 3.6B),仅需 1.8GB 显存即可运行,并在代理编程任务上获得满分,性能优于其他本地模型(如 Gemma 和 Qwen)。
openai/privacy-filter
OpenAI 发布了 Privacy Filter,这是一个包含 15 亿参数的双向令牌分类模型,用于检测和处理个人身份信息(PII)。该模型采用 Apache 2.0 许可证,并支持长上下文,以实现高通量的数据清理。
@altryne:OpenAI 刚在 HuggingFace 开源了一个 15 亿参数(5000 万活跃)的 Apache 2.0 模型!不是新 LLM,而是……
OpenAI 在 HuggingFace 以 Apache 2.0 协议发布 15 亿参数 PII 检测模型 Privacy Filter。
@hank_aibtc: 家人们,本地 LLM太香了! 刷到 Hugging Face 上这个 gpt-oss-20b-tq3,真的有点上头! OpenAI 官方开源的 20B+ 参数 MoE 模型,被社区用 TurboQuant 3-bit 量化 + MLX 优…
The article highlights the gpt-oss-20b-tq3 model, a quantized version of an OpenAI MoE model that runs efficiently on standard 16GB MacBook Airs using TurboQuant and MLX optimizations.