“Slightly”是否意味着“Somewhat”？测量LLM数值行为中的模糊强度词

# 略微意味着稍微吗？测量 LLM 数值行为中的模糊程度词
来源：https://arxiv.org/html/2605.21827
\(2026 年 5 月\)

###### 摘要

当语言模型必须通过数值行为表达模糊程度词时，它们是否保持了这些词的序数含义？我研究了一个由研究者构建的包含 10 个英语程度修饰词的量表，范围从 `slightly` 到 `drastically`，该量表参考了 Quirk 等人的程度修饰词分类体系。在受控的资源分配环境中，Claude Haiku 接收自然语言指令，输出数值分配，然后由一个确定性的后端将该分配转换为可测量的结果。不同运行之间唯一变化的变量是程度词或起始系统状态，从而可以分离它们对模型数值输出的影响。

在 `T=0.0` 和 `T=0.7` 两种温度下，共计 6,620 次运行中，出现了三种模式。首先，模型将 10 个程度词压缩为 5 个不同的中位数输出：四个较低层级的词都映射到相同的值，而更强的词则进入更高的区间（Spearman \( \rho = 0.845\), \(p < 0.001\)）。其次，当提供当前系统状态作为上下文时，独立的 Kruskal-Wallis 检验显示，按起始分配分组比按词汇分组能捕捉到更多基于秩的方差（\( \varepsilon^2_{\text{baseline}} = 0.782\) 对比 \( \varepsilon^2_{\text{word}} = 0.079\)），并且当系统接近容量上限时，词汇区分度降为零。第三，在可行性边界附近，模型表现出三种行为模式：弱词以小幅调整进行**对冲**，强词完全**放弃**操作，而 `drastically` 一词则将分配推至局部上限。这些模式在温度变化下依然存在，随机采样虽然拓宽了分布，但并未恢复词汇之间的序数区分。在该模型和领域中，模型对模糊程度词的数值解释是压缩的、依赖于状态的，并且在操作边界附近是不连续的。

## 1 引言

人类操作者越来越多地通过自然语言界面来控制计算系统。用户可能会要求智能体“略微增加”预算，“大幅减少”某个参数，或者“显著优先考虑”某个目标。在每种情况下，系统都必须将模糊的指令转换为具体的行动：一个函数参数、一个配置更改，或者一个具有下游影响的数值。随着语言模型被嵌入到智能体、副驾驶和自然语言控制系统中，这一转换步骤在日常业务用例中变得愈发普遍且重要。

这一边界之所以重要，是因为模糊的词汇承载着用户意图，但行动却需要精确性。如果两个指令在用户听来意义上有显著不同，但却产生了相同的数值输出，那么该界面的表现力就比其表面看起来要弱。如果同一个词汇根据不可见的系统状态映射到不同的行动，用户就无法建立可靠的预期。而如果模型对于某些词汇在操作限制附近选择放弃操作，但对其他词汇却不这样做，那么行动策略就存在一个从语言本身可能无法察觉的不连续性。

本文直接研究这一边界。我使用一个合成的受限资源分配环境作为受控的测量工具。语言模型收到一个使用特定程度词增加任务分配的请求，生成一个带有数值参数的结构化工具调用，然后由确定性的后端评估生成的配置。该实验并非对优化方法的声明。分配环境的存在是为了隔离一个更广泛的问题：当模糊的人类语言必须转化为精确的 LLM 行动时，会发生什么？

实验聚焦于英语程度修饰词，这是一类在语言学和心理语言学中早有研究的词汇。先前的研究表明，即使在数值解释有所不同时，人类也常常在模糊表达中保持序数结构（Cliff, 1959 (https://arxiv.org/html/2605.21827#bib.bib1); Mosteller and Youtz, 1990 (https://arxiv.org/html/2605.21827#bib.bib3); Ramotowska 等, 2024 (https://arxiv.org/html/2605.21827#bib.bib6)）。最近的研究也表明，语言模型可能对措辞敏感，并且可能在校准模糊概率表达方面出现偏差（Zhang 等, 2024 (https://arxiv.org/html/2605.21827#bib.bib7); Romanou 等, 2026 (https://arxiv.org/html/2605.21827#bib.bib10)）。但尚未得到充分测量的是行动场景：当模型必须从一个模糊的程度词中选择一个数值输出时，而不仅仅是估计概率或分类情感时，会发生什么。

我测试了 10 个程度词，它们涵盖了 Quirk 等人程度修饰词分类法（Quirk 等, 1985 (https://arxiv.org/html/2605.21827#bib.bib2)）的六个假设层级。这 10 个词被选中以覆盖 Quirk 分类法的完整范围，从弱化词到强化词，并使用了在操作指令中自然的术语。只有三个测试词（`slightly`, `somewhat`, `mildly`）出现在 Quirk 的明确列表中；其余七个是启发式地选择来填补分类空缺的。

我提出三个实证问题：

1.  模型在生成数值输出时，是否保持了程度词假设的序数排序？
2.  当提供了当前系统状态的上下文时，是词汇选择还是起始参数更能解释数值行为？
3.  在操作限制附近，模型是继续平滑地缩放行为，还是切换到性质不同的行为模式？

拟提出的贡献如下：

1.  一种用于测量语言模型如何将模糊程度词映射到数值行为的受控方法。
2.  有证据表明，模型保留了粗略的程度区间，同时将多个细粒度的词汇区分压缩到相同的输出值中。
3.  有证据表明，当上下文状态和词汇选择同时存在时，上下文状态主导词汇选择：独立的 Kruskal-Wallis 检验显示，基线分组捕捉到的基于秩的方差大约是词汇分组的 10 倍。
4.  在可行性边界附近发现了词依赖性的放弃行为，模型表现出三种行为模式：对冲、行动和放弃。

## 2 相关工作

#### 程度修饰词与强度量表。

Cliff (1959 (https://arxiv.org/html/2605.21827#bib.bib1)) 对受试者进行调查，表明像 `slightly` 和 `extremely` 这样的副词可以充当所感知的形容词强度的稳定乘数。Quirk 等 (1985 (https://arxiv.org/html/2605.21827#bib.bib2)) 提供了一个广泛的英语程度修饰词分类法，主要分为两组：增强词（最大化词和提升词）和减弱词（近似词、妥协词、弱化词和最低词）。本研究使用该分类法作为启发式词汇量表的组织框架。测试的 10 个词汇覆盖了 Quirk 的分类范围，但通过类比映射，而非直接取自原文第 8.104–8.115 节中的明确词汇列表。

#### 模糊量词与概率表达。

关于模糊量词的工作研究了一种相关但不同的语言到数字的映射。Mosteller 和 Youtz (1990 (https://arxiv.org/html/2605.21827#bib.bib3)) 汇编了概率表达的数值解释，并展示了在有序中心趋势周围存在的高方差。Ramotowska 等 (2024 (https://arxiv.org/html/2605.21827#bib.bib6)) 研究了人类对诸如 "many" 和 "most" 等模糊量词的解释，其目标是数量估计而非行为幅度。有用的相似之处在于，即使数值解释因个体而异，序数排序通常仍然保持。Zhang 等 (2024 (https://arxiv.org/html/2605.21827#bib.bib7)) 评估了语言模型如何将估计概率词汇映射到数值概率，发现模型的解释容易与人类校准出现偏差。这些研究启发了当前的工作，但本文的结构有所不同：程度修饰词被用于产生工具调用行为，而不是概率估计或大小判断。

#### LLM 工具使用与提示敏感性。

面向优化和规划系统的自然语言接口通常假设用户请求在求解开始前已充分指定（AhmadiTeshnizi 等, 2023 (https://arxiv.org/html/2605.21827#bib.bib8); Ramamonjison 等, 2022 (https://arxiv.org/html/2605.21827#bib.bib9)）。关于提示敏感性的研究表明，模型输出可能因语义上微小的措辞变化而改变（Romanou 等, 2026 (https://arxiv.org/html/2605.21827#bib.bib10)）。该研究路线探讨的是**语义上等价**的释义是否会产生不同的输出，从而确认措辞总体上对模型行为有影响。本文研究的是一个不同的问题：**语义上不同**的程度词是否会产生稳定、有序且上下文鲁棒的数值行为。

## 3 方法

### 3.1 实验设计

该实验将部署系统中经常纠缠在一起的三个组成部分分离开来：人类语言指令、模型的数值输出以及下游系统响应。图 1 (https://arxiv.org/html/2605.21827#S3.F1) 总结了测量设置。

> 参考图注 图 1: 实验流程。两种条件（无上下文和上下文条件化）将一个单一程度词输入模型，模型产生一个数值分配。确定性后端将该分配转换为可测量的结果。模型是唯一的随机组件；所有下游方差都追溯到语言到行为的转换步骤。

### 3.2 环境

测试平台是一个合成的受限资源分配环境。一个角色有三个任务分配，必须总和为 100%。模型可以通过一个单一的结构化工具 `set_task_allocation` 修改配置，该工具接受数值分配值。在工具调用之后，一个确定性求解器评估生成的配置。给定相同的分配值，求解器总是返回相同的结果。

这种设计使后端成为一个测量仪器，而不是研究对象。主要的因变量是模型选择的数值分配。下游目标值仅用于证明不同的语言解释可以传播到性质上不同的系统结果中。

### 3.3 词汇量表

我测试了 10 个程度词，分为 6 个假设层级（表 1 (https://arxiv.org/html/2605.21827#S3.T1)）。这些层级参考了 Quirk 等人的程度修饰词分类法，但不应被视为经过验证的人类真实情况。它们是一个研究者定义的排序，旨在覆盖从弱到强的常见操作语言。¹¹关于这 10 个词的人类验证调查计划作为未来的工作。一项调查可以同时填补序数有效性验证的空白，并实现直接的人类-模型比较。

表 1: 研究者构建的强度量表。分组参考了 Quirk 等人 (1985 (https://arxiv.org/html/2605.21827#bib.bib2))，但 10 个词中只有三个出现在 Quirk 的明确列表中。其余七个被选择来填补分类空缺，使用了在操作指令中自然的术语。

### 3.4 条件

实验使用两种主要条件外加一个精确数字控制组。

**无上下文条件（第 1 层级）**。模型收到一个简单指令：“Architects should spend [WORD] more time on innovation.”目标任务从默认状态开始。此条件测量当没有提供明确当前分配时，模型的词汇到数字的映射。

**上下文条件化条件（第 2 层级）**。模型明确收到当前目标分配：“The current innovation allocation is bb%. I would like to [WORD] increase innovation，”其中 `bb` 表示起始分配（呈现给模型的基线配置）。我测试了 10 个 `bb` 值：0%, 5%, 10%, 18%, 25%, 32%, 50%, 53%, 75%, 和 89%。

这 10 个起始分配是特意选择的，而不是以均匀间隔采样的。整数（0%, 10%, 25%, 50%, 75%）用于测试在训练数据中可能过度表示的标准锚定点的行为。不规则数字（5%, 18%, 32%, 53%, 89%）用于测试在非标准位置（模型无法依赖记忆默认值）的行为。这些值覆盖了分配空间的低、中、高区域，其中 89% 被特别选择用于测试边界附近的行为。完整的 0–100 网格将会更理想，但由于 API 成本限制，留待未来工作。

**精确数字控制组**。控制提示要求精确的数值分配，并准确复现了所请求的值，从而验证了测试工具能够正确传递和应用数值请求。

### 3.5 参数

被测试的模型是 Claude Haiku（claude-haiku-4-5-20251001），通过 Anthropic API 访问。每个提示单元运行 30 次，使用全新的会话、深度复制状态、调用间无记忆，以及相同的合成数据种子。每个单元运行 30 次在非参数检验的统计功效和 API 成本限制之间取得了平衡。两次完整的扫描分别是 `T=0.0` 和 `T=0.7`，每次包含 3,310 次运行：300 次无上下文，3,000 次上下文条件化，以及 10 次精确数字控制，总共 6,620 次运行。

### 3.6 指标与统计方法

主要指标是**数值分配**：模型工具调用分配给目标任务的值。我将**放弃**操作定义为产生零次工具调用的非错误运行。下游影响通过模型配置求解与冻结基线求解之间的目标值变化（delta）来衡量。

分析围绕两个统计问题展开。

**问题 1：假设的序数排序是否得到保持？** 我使用 Spearman 的 rho，一种基于秩的相关系数，用于衡量较高层级的词是否始终产生较高的数值输出。与标准相关不同，它仅要求关系具有方向一致性（随着层级增加，输出趋于增加）。Spearman 的 \( \rho \) 在所有单个运行观测值（例如，对于无上下文条件，\( n=300 \)）上计算，将每次运行的层级分配与其数值输出配对。由于同一词汇内的运行并非独立（每个词汇在相同条件下有 30 次运行），得到的 p 值会高估显著性；我将其作为描述性指标而非确认性检验来报告。对于较高层级词产生低于预期输出的情况，作为描述性观察报告，而非作为反对我们在本研究中框架化的假设排序的证据。

**问题 2：是词汇选择还是起始分配解释了更多方差？** 我使用 Kruskal-Wallis \( H \) 检验，一种非参数方法（类似于 ANOVA），通过秩和而非均值来比较组。相关的 \( \epsilon^2 \) 效应量给出了分组变量所解释的基于秩的方差比例。如果词汇对 LLM 具有数值含义，那么无论我们使用什么起始配置，词汇选择都将占主导地位。如果配置上下文占主导地位，那么同一个词汇在不同的基线下意味着不同的事物，这损害了模糊指令作为控制界面的可靠性。

第 4.2 节中报告的两个 \( \epsilon^2 \) 值来自具有不同分组变量（词汇和基线）的独立 Kruskal-Wallis 检验。每个检验独立地询问输出中的变异有多少可以由单一因素解释。由于它们来自独立的检验，而不是一个同时考虑两个因素的单一模型，这两个值不应相加，也不应被视为同一块蛋糕的不同份额。它们的相对大小指示哪个因素在数据中捕捉到了更多的结构。