仅通过聊天API的两个oracle查询能否重构闭源LLM的分词器？

Reddit r/LocalLLaMA 论文
tokenizer reverse-engineering llm closed-source api oracles

摘要

本文探讨了仅使用闭源大语言模型聊天API的两个oracle查询来重构其分词器的可行性，该过程可能揭示模型的内部表示细节。

暂无内容
查看原文

相似文章

不要让LLM说话，直接探测它（8分钟阅读）

TLDR AI

本文介绍了一种技术，该技术从LLM的最后一个提示标记处提取隐藏状态，无需文本生成即可进行分类，使用一个小型MLP读取模型的内部决策，从而实现快速且廉价的零样本分类器。

学习如何让大语言模型进行推理

OpenAI Blog

OpenAI 发布了一篇文章，通过密码破译示例探索大语言模型的推理技术，展示了语言模型的逐步问题求解和模式识别能力。

在受限API访问下对LLM架构属性的黑盒推断

arXiv cs.LG

本文介绍NightVision，一种利用受限黑盒API访问来估计大型语言模型隐藏维度、深度和参数数量的攻击方法。它采用新颖的公共集提示技术与频谱分析，在开源模型上实现了高精度。