仅通过聊天API的两个oracle查询能否重构闭源LLM的分词器？
摘要
本文探讨了仅使用闭源大语言模型聊天API的两个oracle查询来重构其分词器的可行性，该过程可能揭示模型的内部表示细节。
暂无内容
相似文章
从专有LLM API中窃取推理痕迹
本文演示了一种从专有LLM API（Anthropic、OpenAI、Google）提取隐藏推理痕迹的方法，方法是将加密的思维链块重放入较弱的、已越狱的同族模型，从而在不直接攻击较强模型的情况下逐字恢复其原始推理过程。
不要让LLM说话，直接探测它（8分钟阅读）
本文介绍了一种技术，该技术从LLM的最后一个提示标记处提取隐藏状态，无需文本生成即可进行分类，使用一个小型MLP读取模型的内部决策，从而实现快速且廉价的零样本分类器。
我用大约200美元的成本，从零开始在20B tokens上训练了一个1B参数的LLM。
一位开发者从零开始训练了一个1.1B参数的LLM，使用了200亿个token，成本约为200美元。该模型使用fineweb-edu进行预训练，并在OpenHermes上进行了LoRA微调。该项目包含开源代码、模型权重和一个演示网站。
Can Released LLM Vocabularies Support Token-Level Estimation of Hidden Corpora?
This paper investigates whether released LLM tokenizer vocabularies can support fine-grained token-level estimation of hidden pretraining corpora, proposing a Quantile-Guided Density Estimation (QGDE) method that achieves low error rates in controlled and realistic settings.
学习如何让大语言模型进行推理
OpenAI 发布了一篇文章，通过密码破译示例探索大语言模型的推理技术，展示了语言模型的逐步问题求解和模式识别能力。