首页
/
工具
/
x86 模拟的难题
x86 模拟的难题
摘要
本文讨论在 ARM 的弱序内存模型上模拟 x86-TSO 内存模型的挑战,涵盖原子指令、分裂锁和未缓存内存等问题,并探讨潜在解决方案。
暂无内容
查看缓存全文
缓存时间:
2026/09/18 06:17
# x86模拟的祸根
来源:https://fex-emu.com/Scourge-of-emulation/
欢迎阅读本站首篇专题文章。我们将深入探讨一个贯穿x86模拟过程、影响所有模拟应用的持续性问题。这归结为一个具有广泛影响的全局性概念:模拟x86全存储排序内存模型(x86-TSO)
(https://en.wikipedia.org/wiki/Processor_consistency#Similarity_to_SPARC_V8_TSO,_IBM-370,_and_x86-TSO_memory_models)
在ARM定义的弱排序内存模型
(https://en.wikipedia.org/wiki/Consistency_model#Weak_ordering)
上模拟此内存模型存在多方面挑战,涉及多个复杂问题。本文将全面剖析所有可能遇到的问题,以及我们的解决方案(或在某些情况下的无解困境)。请备好茶点饮品,这将是一篇深度长文:
- x86-TSO究竟为何物?
- ARMv8.0-a的简陋起步
- 我原以为访问内存很简单?
- 这些原子指令怎么回事?
- 分裂锁为何成为强制要求?
- 等等,非缓存内存也需要工作?
- 展望更光明的未来
## x86-TSO究竟为何物?
在深入探讨如何应对x86内存模型问题前,我们必须首先明确其定义。内存模型是规范系统中内存访问行为的规则集,决定了单线程/多线程环境下加载与存储操作的交互方式。当前硬件平台普遍采用多种内存模型实现,但今日焦点是ARM的宽松(弱)一致性模型,以及x86的全存储排序(Total-Store-Ordering)一致性模型——它们基本处于内存一致性光谱的两极:ARM提供最大灵活性以支持深度硬件优化;x86则实施最严格的一致性模型,为优化留出的空间极为有限。需特别注意的是,讨论内存模型时应区分一致性(consistency)与原子性(atomicity),二者虽有关联但本质不同,且并非所有场景都能同时保证。
解释内存模型差异的最佳方式是从x86处理机制说起。TSO严格规范操作流程,程序员可假定:内存存储操作将对系统内所有其他处理器保持一致可见性;相应地,内存加载操作执行前,所有先前的存储操作已在“逻辑上”完成或至少可见。这符合程序员直觉——写入内存时立即可见,编程时易于理解。正是通过存储操作的可见性排序,该模型得名“全存储排序”。其运作细节存在微妙之处,但非核心理解要点。
ARM的弱内存模型运作方式则不太直观。默认情况下,ARM的常规内存加载/存储操作在系统多处理器间不具备严格一致性,使CPU多数情况下能更高效运行。当存储指令执行时,该内存段(缓存行)不会立即对其他处理器可见,这节省了珍贵的功耗与效率——因为在硬件层面使其他核心缓存行失效,或允许探听(snoop)其他处理器缓存的操作成本极高。类似地,若处理器从内存加载数据,而该数据已被其他处理器更新,则无法保证该加载操作能看到更新后的内容。这在多线程应用中看似会引发重大问题?早期ARM版本(ARMv7及更早)采用内存屏障指令确保顺序性,但带来显著的性能损耗。
为克服这种一致性限制,ARM引入了加载获取(load-acquire)与存储释放(store-release)内存指令。在C++术语中,它们分别对应**std::atomic**的*memory_order_acquire*与*memory_order_release*定义。在ARM术语中,这些指令严格来说*并非*原子操作,但程序员常将二者混为一谈。FEX使用原子加载(atomic-load)与原子存储(atomic-store)指代相同概念!这种区别*通常*无关紧要,但在技术讨论中或许应保持严谨。
这些指令的主要用途是强制此类指令间的内存排序。ARM称其为“释放一致性顺序一致(RCsc)”模型。简言之,加载获取指令必须保持顺序执行不可重排,存储释放指令也需遵循“屏障前置”语义。这消除了旧版ARM架构中代价高昂的内存屏障指令需求。
## ARMv8.0-a的简陋起步
这正是我们模拟x86-TSO内存模型在ARMv8.0-a上的起点。我们将所有x86内存加载转为ARM的**加载获取**指令,内存存储转为**存储释放**指令。这使FEX获得与x86等效的内存语义,尽管实际上我们比必要条件*更*严格——因为当时没有能精确匹配行为的中间方案。如您所想,用这些指令模拟TSO*代价极高*,我们的微基准测试已证实这点。因为ARM CPU设计初衷并非让这些相对罕见的获取/释放指令突然成为执行主流。
先从简单场景开始,使用对硬件较友好的微基准测试。不涉及复杂边界情况,仅考察常见场景下的内存访问,这为我们提供了理想情况下的基准性能数据。
解析此图表可揭示有趣现象:每款CPU的“加载”与“存储”列代表硬件应达到的基准性能值——这些测试并非压榨系统内存带宽,而是让每种操作执行等量工作。观察“加载获取”结果可见,五款CPU中有三款因使用加载获取指令导致性能显著下降!此外,AmpereOne CPU的存储释放指令性能与其他结果相比异常低下,M1的“加载获取/LRCPC”指令也明显低于基准值。
AmpereOne的结果尤其凸显了这条传统路径的弊端。这些指令从未被设计用于此类场景。在x86模拟中为每次加载使用获取-释放语义,实际对ARM CPU施加了极其严格的限制——加载指令间完全无法重排序。当每秒执行数百万次此类指令时,性能表现自然堪忧。但受限于ARMv8.0-a仅有这些可用指令,我们别无选择。尽管Cortex-X4与Cortex-X925在此类指令上表现优异,但Oryon-3的指令优先级排序显示其重要性已被降低。
## 路在何方?
让我们仔细研究自ARMv8.3起强制支持的LRCPC加载指令。此扩展为ARM指令集架构(ISA)新增了大量加载指令,并在原有*RCsc*模型基础上引入新内存模型。这个新的“释放一致性处理器一致(RCpc)”模型正是我们所期盼的!该扩展专为x86模拟需求设计,预期将在支持硬件上得到广泛使用。从图表可见,几乎所有平台的LRCPC加载性能都与常规加载持平。
随着新版ARM强制要求此扩展,内存性能问题基本**得以解决**。至少从该微基准测试看来是如此。一旦FEX检测到此扩展,我们将完全停止使用加载获取指令,转而采用LRCPC加载指令。但Apple M1的结果为何如此特殊…?
此处必须称赞Apple解决该问题的路径。在Apple Silicon处理器中,他们直接添加了对x86-TSO内存模型的支持。通过CPU特性开关,其***常规***加载/存储ARM指令行为会切换为匹配x86要求。Apple选择此方案,是预见到全面转向ARM生态时硬件必须提供高性能解决方案。因此在其硬件上,LRCPC加载指令实为加载获取指令的别名——因为其x86模拟器甚至不使用这些指令!由于实现了x86内存模型,他们直接使用常规加载/存储指令,这在我们的微基准测试中表现为难以察觉的性能开销。公平地说,这种线程级TSO模式切换确实有一定性能影响,我们只是在此未体现。当FEX检测到Asahi Linux(https://asahilinux.org/)的此CPU特性时,也将启用该功能以获得“免费”性能提升。一个潜在担忧是:在x86模拟与ARM代码间跳转时,ARM代码因所有访问都变为TSO而承受不必要开销。此担忧合理,但模拟环境下执行的ARM原生代码占比趋近于零。作为开发者,您关心的不是1%的内存访问变慢10%,而是99%的访问从接近零性能(如AmpereOne所示)提升至“理想状态”的15%。
需指出的是,我们认为TSO模式是确保平台高性能x86模拟的最佳路径。这确保了每条内存访问指令按我们预期运作。官方**FEAT_LRCPC**扩展拥有三个版本,正说明实现过程需要层层补丁:
- **FEAT_LRCPC** —— 新增基础寄存器TSO加载指令
- **FEAT_LRCPC2** —— 为TSO加载指令增加小偏移立即数支持
- **FEAT_LRCPC3** —— 新增基础向量与栈操作TSO加载/存储指令
即便有此三扩展,某些边界情况仍无法像硬件TSO开关那样完美模拟。我们预期未来将推出更多扩展版本,以解决后文将讨论的其他问题。
## 我原以为访问内存很简单?
上节我们友善地遵循ARM硬件的对齐要求,为性能设定了基准。但在模拟x86时,我们立即面临一个突出问题:您钟爱的x86应用根本无视对齐规则!它们随心所欲地访问内存,跨越缓存行粒度,执行未对齐的原子操作。想象得到的对齐问题,这些游戏都可能出现。问题严重到我们为其创造了专门术语——**分裂锁(split-lock)**。这些问题影响巨大,连Linux内核都会检测并触发时降低游戏性能!导致众多玩家调整内核参数以避免卡顿。
不过我们现在不深入讨论完整的分裂锁问题,先从不关心对齐环境的加载-存储指令说起。x86向程序员提供特定保证:若加载-存储操作在单个缓存行内完成,则该操作既保持原子性,也符合前述一致性模型。但为了对硬件开发者稍显友善,当加载-存储*跨越*缓存行时,数据将失去原子性,其他线程可能观察到撕裂现象。因此程序员需谨慎——基础加载-存储操作并非分裂锁。
用加载获取/存储释放指令模拟这些基本操作的问题在于:ARMv8.0要求所谓的**自然对齐**。这意味着访问任意大小数据时,内存偏移量必须匹配数据尺寸。例如8字节访问必须发生在偏移0、8、16、24等位置。这在原生ARM应用中运行良好,但当违反自然对齐要求时会如何?对ARM而言,这将触发**对齐错误**。硬件会验证对齐要求,若不满足CPU将报错。通常导致崩溃,但FEX实施了特殊处理。
在FEX的JIT机制中,我们追踪模拟x86加载-存储的内存指令。当预知某加载-存储可能引发对齐错误时,我们在代码中设置**补丁点(patchpoint)**。对加载-存储指令而言,这表现为指令前后附加的**空操作(NOP)**指令。当对齐错误在补丁点发生时,FEX将捕获错误,将指令从加载获取/存储释放替换为**基础**等效加载-存储指令,并为指令包裹数据内存屏障,然后继续执行。
补丁前后对比
前文关于ARMv8.0-a新增加载获取/存储释放指令的讨论呢?一旦对齐行为不符,我们立即回退到经典内存屏障指令。之前的图表未展示这种极端情况,因此引入新数据。
这数据量确实庞大。尽管再次清晰展示模拟TSO时硬件与“最优路径”的差距,但这非本文重点。有趣的是,该微基准测试未显示对齐/非对齐访问在常规加载/存储中的显著差异,因此我们取二者平均值。我们将移除x86 CPU数据及ARM列中的常规加载-存储数据(因其非FEX常用路径),以便更聚焦地观察模拟环境下非对齐内存访问的性能损伤程度。
现在图表数据更具可比性,让我们从左至右分析发生的情况。
## AmpereOne
此案例颇具趣味:对齐与非对齐加载指令性能基本相当且处于误差范围内。这意味着尽管非对齐加载承受**数据内存屏障**惩罚,但CPU处理得当。考虑到其性能显著低于其他平台,该基准测试可能受其他因素瓶颈限制。
而存储端即使在对齐状态下表现也不理想——在图表上几乎不可见!当处理非对齐存储…
相似文章
Hacker News Top
关于改进一个最小化 ARMv7 模拟器的更新,重点优化内存翻译,从复杂的 B-tree 映射转向简化的 4 GiB slab 方法以提高效率。
Hacker News Top
这篇博客文章探讨了如何通过在非 RISC-V 机器上使用提前重编译器来加速 RISC-V 执行,该重编译器通过尾调用连接基本块,并利用 Clang 的 preserve_none 调用约定,作为 Axiom 的 OpenVM 项目的一部分。
Lobsters Hottest
一个关于Windows x86仿真器团队的故事:他们遇到一个程序,其初始化循环完全展开了64KB(65,536条指令),于是添加了特殊优化,将其替换为一个紧凑循环。
Lobsters Hottest
This research describes compiler-invented loads, where compiler optimizations create additional memory reads not present in source code, turning seemingly secure code into vulnerable binaries with TOCTOU races. It includes audits across kernels, hypervisors, enclaves, and firmware.
Hacker News Top
作者在为 AArch64 从零编写自制操作系统 floss 的过程中,深入分析了 ldaxr/stxr 独占内存访问指令在 QEMU 上运行正常、却在真实硬件上触发异常的问题,探讨了自旋锁、异常处理、虚拟内存、内存类型与缓存属性之间的复杂交互。