safety-alignment

标签

Cards List
#safety-alignment

拒绝方向在低资源语言中是否普遍存在?

arXiv cs.CL ↗ · 昨天 缓存

该论文在 Qwen2.5-14B-Instruct 上将 PolyRefuse 扩展到另外三种低资源语言(白俄罗斯语、巴什基尔语、塔吉克语),发现拒绝方向的迁移效果存在程度差异,并非普遍有效:来自安全对齐语言的方向能够广泛迁移,而来自严重未对齐语言的方向则无法可靠地调节拒绝行为。

0 人收藏 0 人点赞
#safety-alignment

使用记录的推导过程审计安全偏好监督

arXiv cs.CL ↗ · 2天前 缓存

本文提出了一种名为符号偏好标注(Symbolic Preference Labeling)的神经-符号方法:由大语言模型对预定义的提示/响应属性进行分类,再通过显式规则推导出可审计、可复现的偏好标签,随后使用DPO训练策略模型,并报告了在无害提示和有害提示上的拒答率。

0 人收藏 0 人点赞
#safety-alignment

PRISM:工具调用语言模型中激活干预的迁移与局限性

arXiv cs.CL ↗ · 2026-10-16 缓存

PRISM 是一个用于评估激活干预如何在具备工具调用能力的语言模型中跨精度、语言和模型规模迁移的框架,表明量化 NF4 标签和跨语言监督能够揭示并缓解不安全的工具调用行为,即使在参数量高达 700 亿的大型模型中也是如此。

0 人收藏 0 人点赞
#safety-alignment

大语言模型回答了问题吗?用于越狱评估的语义重构游戏

arXiv cs.LG ↗ · 2026-10-15 缓存

该论文提出了一种名为"语义重构博弈"的免训练评估方法,用于更准确地评估 LLM 越狱攻击的成功率(ASR)。研究发现仅更换评判 LLM 就可导致 ASR 报告值相差高达 82 个百分点,而新方法通过将合规性判断分解为受限语义比较,显著降低了相对于人工标注的平均误差。

0 人收藏 0 人点赞
#safety-alignment

通过免训练的权重编辑抵抗有害指令

Hugging Face Daily Papers ↗ · 2026-10-15 缓存

该论文提出一种训练无关的权重编辑方法,通过少量对比提示对直接修改模型权重,降低指令微调模型对有害指令(如说谎、性别歧视)的服从率,并在五个模型上验证了其优于激活引导等方法的鲁棒性。

0 人收藏 0 人点赞
#safety-alignment

视觉语言模型中的视觉定位安全性

Hugging Face Daily Papers ↗ · 2026-10-05 缓存

该论文系统分析了视觉语言模型在结构化输出通道(点/边界框)上的安全对齐缺口,发现模型对以定位形式提出的有害请求的拒绝率比纯文本问答低 31-59 个百分点,并提出一种微调方法显著提升了定位形式的拒绝率。

0 人收藏 0 人点赞
#safety-alignment

迈向缓解大型推理模型中的欺骗性安全对齐

arXiv cs.AI ↗ · 2026-09-30 缓存

Wayne State University 的一篇论文提出了 DSAR 指标,用于量化大型推理模型中推理过程与最终答案之间的不一致性,并提出了基于强化学习的方法 SARA,通过奖励具备安全意识的推理来缓解在标准预填充攻击和对抗性预填充攻击下的欺骗性安全对齐。

0 人收藏 0 人点赞
#safety-alignment

多智能体系统中潜在通信的安全性

Hugging Face Daily Papers ↗ · 2026-09-30 缓存

本文表明,在多智能体系统中为 LLM 智能体之间训练轻量级潜在通信链路,即使智能体本身保持安全对齐,也可能增加有害顺从行为;文中提出一种基于强化学习的攻击方法,将有害顺从率从 27.9 提升到 76.9,适用于不同通信拓扑与基准测试,并且在不更新智能体的情况下提出修复被攻破链路的方法。

0 人收藏 0 人点赞
#safety-alignment

针对黑盒大语言模型的受控解码攻击

Hugging Face Daily Papers ↗ · 2026-09-29 缓存

本文提出一个框架,通过纯文本续接接口对黑盒大语言模型实施越狱攻击,结合基于采样的分布重构、风险门控残差控制以及推测性多 token 执行,在不获取模型权重或 token 概率的情况下绕过安全对齐机制。

0 人收藏 0 人点赞
#safety-alignment

为什么越狱攻击在扩散语言模型中成功:一种能量景观分析

arXiv cs.AI ↗ · 2026-09-28 缓存

本文引入了一个能量景观框架,以分析越狱攻击为何在基于扩散的语言模型中成功,并推导出三种互补的、无需训练的检测信号,用于安全对齐。

0 人收藏 0 人点赞
#safety-alignment

理解提示模板在知识蒸馏安全对齐中的作用

arXiv cs.CL ↗ · 2026-09-28 缓存

本文分析了在知识蒸馏过程中,提示模板的选择如何影响学生大语言模型的安全对齐,发现聊天模板相比非聊天模板在多个模型和基准测试中会导致更大的性能下降。

0 人收藏 0 人点赞
#safety-alignment

LRMs的对齐:通过反向对齐少样本对话暴露

arXiv cs.AI ↗ · 2026-09-24 缓存

本文提出了一种名为SRCF的攻击方法,该方法通过反向对齐少样本对话来引导大型推理模型(LRMs)产生不安全或拒绝行为,并提出了一种名为ARCF的后训练防御机制,该机制在不降低效用的情况下增强了安全性和有用性。

0 人收藏 0 人点赞
#safety-alignment

困难负例揭示简单负例的隐藏面:跨语言有害性表征在困难负例下随资源层级退化

arXiv cs.CL ↗ · 2026-09-24 缓存

论文揭示,在使用困难负例进行评估时,大型语言模型中的跨语言有害性表征随资源层级退化,这挑战了先前关于安全表征在翻译后得以保留的结论。

0 人收藏 0 人点赞
#safety-alignment

SafeTune:一个统一且可靠的库,用于审计和修复微调大型语言模型中的安全偏移

arXiv cs.LG ↗ · 2026-09-22 缓存

SafeTune是一个统一的源码可用库,用于审计和修复微调大型语言模型中的安全偏移,提供跨多种干预范式的一致工作流。

0 人收藏 0 人点赞
#safety-alignment

多语言安全信号是多层次的:过滤安全降级数据以实现更安全的LLMs

arXiv cs.CL ↗ · 2026-09-22 缓存

该论文提出了MMSafe,一个多层框架,用于识别和过滤多语言LLMs中的安全降级数据,与随机过滤相比,有害响应减少了60%。

0 人收藏 0 人点赞
#safety-alignment

为了谁的安全?拒绝话题的正确子集,而非整个话题

Hugging Face Blog ↗ · 2026-09-08 缓存

这篇文章讨论了人工智能模型中话题级别安全防护的局限性,并介绍了一篇新论文,提出了边界感知自蒸馏用于控制LLM的安全拒绝,重点在于拒绝话题内的特定有害子集,而不是整个话题。

0 人收藏 0 人点赞
#safety-alignment

超越Token位置:扩散语言模型中跨去噪步骤的安全对齐

arXiv cs.CL ↗ · 2026-09-02 缓存

本文提出了一种无需训练的解码方法,称为拒绝感知早期承诺(RAEC),通过利用早期去噪步骤中的拒绝信号来改进扩散语言模型的安全对齐。

0 人收藏 0 人点赞
#safety-alignment

ShieldVLA:基于可行性感知的视觉-语言-动作模型安全对齐

Hugging Face Daily Papers ↗ · 2026-09-02 缓存

ShieldVLA 提出了一种用于视觉-语言-动作模型的安全对齐微调框架,使用 Hamilton-Jacobi 可达性来估计安全操作区域,将安全成本降低57%并提高机器人基准测试中的任务成功率。

0 人收藏 0 人点赞
#safety-alignment

一个后缀破解所有:针对合并模型家族的 Basin-Aware 越狱攻击

arXiv cs.LG ↗ · 2026-08-28 缓存

本文揭示了即使在组成模型安全对齐的情况下,模型合并中存在的越狱风险,并提出了 Basin-Aware Jailbreak (BAJ),用于在合并模型家族中生成可转移的对抗性后缀。

0 人收藏 0 人点赞
#safety-alignment

NeuronFuzz: 安全神经元引导的模糊测试在LLM安全评估中的应用

arXiv cs.LG ↗ · 2026-08-28 缓存

NeuronFuzz是一个白盒模糊测试框架,利用内部安全神经作为连续反馈来评估LLM对越狱攻击的安全性,并在多个模型上展示了高发现率。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈