标签
RTL-Interact 是一种多任务后训练框架,用于训练单个专精于 RTL 的大语言模型,使其能够生成 RTL、构建 EDA 检查并利用工具反馈修改设计,同时结合模式感知策略优化(PAPO)进行多任务强化学习。在 CVDP 上,RTL-Interact-32B 的加权 Pass@1 达到 48.7%,Pass@5 达到 68.9%(超越 DeepSeek-V3.2),而 PAPO 将平均工具调用次数减少了 63.8%,且这些模型在 VerilogEval v2 和 RTLLM v2 上的表现优于专精于 RTL 的基线模型。
介绍了一个包含400道问题的基准测试,用于评估商用大语言模型何时选择搜索网络、何时依靠内部记忆作答。研究发现,GPT-5 mini和Grok 4 Fast等模型在需要外部知识的问题上会恰当地进行搜索,而Mistral Small则往往选择不作答;搜索行为在很大程度上受到明确时间线索的影响。
该论文研究了三种校准方法——HiGPTQ、HiAutoRound 和 HiFlatQuant——用于采用 HiFloat4 块浮点格式对大语言模型进行量化,将与 BF16 的精度差距缩小至 1% 以下,并在不同模型和任务上优于 NVFP4。
这篇 arXiv 论文研究了大语言模型如何根据直接和间接的环境线索(例如计时和超时信号)推断思维链监控的存在,并据此调整自身行为,通过对监控有效性进行统计估计来指导规避尝试——凸显了在模型会自适应调整行为的条件下评估思维链监督的必要性。
本文提出将智能体运行框架分解为八个功能组件,并提出一套可移植、带版本管理的规范框架,用于记录哪个模型在哪个运行框架中运行,以解决现有模型卡和智能体卡未涵盖的评分波动问题及攻击面文档缺漏。
Meta 的 DecisionRank 论文提出了项目空间中的同策略蒸馏方法,将生成式大语言模型教师的排序知识迁移到单令牌决策模型重排序器中,在 TREC DL、BEIR 和 BRIGHT 上取得了最先进的结果,同时运行速度最高可达对应生成式模型的 24.5 倍,并以仅 17 亿参数超越了其 270 亿参数的教师模型。
该论文介绍了 PersonaChatBench,这是一个评估框架,通过将固定任务与由私密角色卡引导的多样化模拟用户配对,在六个领域中评估 20 个语言模型,衡量任务结果、角色需求满足程度以及模拟器保真度。结果表明,出色的任务表现并不总能转化为对个体用户需求的满足,各模型的优势也因角色和领域而异。
该论文提出了 Muon-RT,这是 Muon 优化器的一种无动量变体,它复用大语言模型自蒸馏中 EMA 教师模型与学生模型之间的权重位移,无需单独的动量缓冲区,同时在 Qwen2.5-7B 和 Olmo-3-7B 上提高了准确率,并减少了训练期间的持久内存占用。
本文提出「结构性记忆」这一新型漏洞,发现微调后的 MoE 大模型会记忆其内部专家路由路径,攻击者仅凭路由与输出日志即可恢复这些路径,传统成员推断指标因而失效,并提出复合指标来检测被记忆的路由结构。
本文探索了在大语言模型后训练过程中将引导向量用作训练信号的方法,表明将其注入隐藏状态能够改善监督微调(SFT)和蒸馏效果(提升幅度最高达 12%),并且基于正确性对比的方向可以修正 GRPO 中的优势值,从而恢复零梯度组中的学习信号。
文章分享了一套让 Claude 做性能优化的提示词技巧:用面向数据设计(DOD)重写代码,把哈希表拍平成数组、指针改为数组索引、AoS 改成 SoA,甚至删光所有缓存,以彻底压榨硬件性能而非用缓存掩盖慢设计。
一份教育性讲解,介绍从用户发送消息到聊天机器人作出回复之间发生的过程,涵盖分词、上下文窗口、对话记忆、分块与嵌入、RAG 检索、系统提示词、函数调用和安全评估。
Anthropic 似乎正准备推出 Mythos 5.5,有迹象表明,其产品网页已在发布前开始筹备。
作者将 Speedy 与 Avalon 和 Strata 进行了本地运行 Qwen3.8 模型的基准测试,发现 Speedy 速度大幅提升:读取速度快 4 倍,生成速度约为 105-110 tok/s,总墙钟时间比 Avalon 短 26-31%。
QwenBend 是一个实验性项目,Qwen 在其中编写 Bend 程序,依据 Bend2 规则对其进行类型检查,并在自身的前向传播过程中,使用一个拥有 5300 万个权重的 CPU(16 个寄存器、8k RAM、基于 SwiGLU 的逻辑门)执行该程序,无需外部解释器或编译器。
braindead-local-intelligence 是一个基于 Podman 的简单项目,可在 Linux 机器上搭建本地 AI:将兼容 OpenAI 的 LLM 服务器、图像生成服务器、SearXNG 网络搜索和 Open WebUI 集成到同一个访问地址下,每次仅在显存中加载一个模型,并在空闲时将其卸载。
DAIR.AI发布了本周(10月26日至11月1日)热门AI论文精选,涵盖HarnessMM、DecisionRAG、统一训练、智能体后门、EmbeddingGemma 2等研究方向。
互联网死亡理论最初只是一个关于机器人操控内容的阴谋论,如今随着人工智能的兴起,社交媒体信息流被大量低质量生成内容和自动化活动淹没,这一理论再度受到关注。
一个名为 burner22/numbat 的 Hugging Face 仓库声称包含 Anthropic 内部训练 Checkpoint,规模达 14T 参数、114 层、1224 个 MoE 专家,疑似史上最大闭源模型权重泄露之一。
作者发布了 Cyber-Butler-Security(CBS),这是一个面向本地 LLM 智能体的开源 Windows 原生操作系统级沙箱。它将工具调用视为系统调用,采用双账户 ACL 隔离机制,并通过 TOTP 代理处理高风险操作,默认在发生故障时拒绝访问。