JPEG XS - Wikipedia

# JPEG XS 来源：https://en.wikipedia.org/wiki/JPEG_XS JPEG XS[](https://en.wikipedia.org/wiki/File:JPEG_XS_format_logo.svg)文件扩展名 (https://en.wikipedia.org/wiki/Filename_extension)`\.jxs`互联网媒体类型 (https://en.wikipedia.org/wiki/Media_type)image/jxsc、video/jxsv[\[1\]](https://en.wikipedia.org/wiki/JPEG_XS#cite_note-1) 魔数 (https://en.wikipedia.org/wiki/File_format#Magic_number)`0xFF10 FF50`开发者联合照片专家组 (https://en.wikipedia.org/wiki/Joint_Photographic_Experts_Group)首次发布2019年5月1日；7年前格式类型有损 (https://en.wikipedia.org/wiki/Lossy)和无损 (https://en.wikipedia.org/wiki/Lossless)图像压缩 (https://en.wikipedia.org/wiki/Image_compression)格式 (https://en.wikipedia.org/wiki/Image_format)标准 (https://en.wikipedia.org/wiki/International_standard)ISO/IEC 21122网站jpeg\.org/jpegxs/ (https://jpeg.org/jpegxs/)**JPEG XS**（标准化 (https://en.wikipedia.org/wiki/Technical_standard)为 ISO/IEC (https://en.wikipedia.org/wiki/ISO/IEC) 21122）是一种图像和视频编解码器，兼具视觉无损和数学无损的质量。它是一种专用编解码器，专为实现低复杂度和低延迟 (https://en.wikipedia.org/wiki/Low-latency)的实现而设计。\[\[2\]\](https://en.wikipedia.org/wiki/JPEG_XS#cite_note-JPEG_XS-2)\[\[3\]\](https://en.wikipedia.org/wiki/JPEG_XS#cite_note-3)该标准的目标应用包括在广播及其他应用中流式传输高质量内容，例如专业 IP 视频 (https://en.wikipedia.org/wiki/Professional_video_over_IP)（SMPTE 2022 (https://en.wikipedia.org/wiki/SMPTE_2022)和 ST 2110 (https://en.wikipedia.org/wiki/ST_2110)）、虚拟现实 (https://en.wikipedia.org/wiki/Virtual_reality)、无人机、使用摄像头的自动驾驶汽车、游戏等。\[\[2\]\](https://en.wikipedia.org/wiki/JPEG_XS#cite_note-JPEG_XS-2)\[\[4\]\](https://en.wikipedia.org/wiki/JPEG_XS#cite_note-4)\[\[5\]\](https://en.wikipedia.org/wiki/JPEG_XS#cite_note-5)虽然没有官方的缩写定义，但选择 XS 是为了突出该编解码器*超小体积*和*超快速度*的特点。 JPEG XS 的三大主要特性是： 1. 视觉透明压缩 (https://en.wikipedia.org/wiki/Transparency_(data_compression))：在 2:1 到 10:1 的压缩比之间，XS 压缩后的内容与原始未压缩内容无法区分（通过 ISO/IEC 29170-2 测试，也称为 AIC-2）。 2. 低延迟 (https://en.wikipedia.org/wiki/Low_latency)：JPEG XS 编解码循环引入的端到端总延迟极小。根据配置不同，与使用未压缩视频的相同系统相比，XS 通常只增加 1 到 32 行的端到端延迟。 3. 轻量化：JPEG XS 旨在具有低计算和内存复杂度 (https://en.wikipedia.org/wiki/Computational_complexity)，从而能够在 CPU (https://en.wikipedia.org/wiki/CPU)、GPU (https://en.wikipedia.org/wiki/GPU)、FPGA (https://en.wikipedia.org/wiki/FPGA)和 ASIC (https://en.wikipedia.org/wiki/ASIC)等各种平台上实现高效的低功耗、低资源占用方案。 凭借这些关键特性，JPEG XS 适用于任何以未压缩内容为常态的应用场景，同时仍能显著节省所需带宽、保持质量和低延迟。目标用例包括通过专业视频链路（如 SDI (https://en.wikipedia.org/wiki/Serial_digital_interface)和专业 IP 视频 (https://en.wikipedia.org/wiki/Professional_video_over_IP)）进行视频传输、实时视频存储、内存缓冲区、全景视频采集与渲染，以及图像传感器压缩（例如在相机和汽车行业）等。\[\[6\]\](https://en.wikipedia.org/wiki/JPEG_XS#cite_note-6)JPEG XS 更注重视觉无损质量与低延迟、低复杂度的结合，而非通过压缩来减少数据。它并不是 JPEG 2000 (https://en.wikipedia.org/wiki/JPEG_2000)、JPEG XL (https://en.wikipedia.org/wiki/JPEG_XL)等替代图像编解码器，或 AV1 (https://en.wikipedia.org/wiki/AV1)、AVC/H.264 (https://en.wikipedia.org/wiki/AVC/H.264)、HEVC/H.265 (https://en.wikipedia.org/wiki/High_Efficiency_Video_Coding)等视频编解码器的直接竞争对手——这些编解码器通常侧重于压缩效率。 其他重要特性包括： 1. **精确的码率分配**：JPEG XS 允许精确定向的码率，以完美匹配可用带宽（也称为恒定码率 (https://en.wikipedia.org/wiki/Constant_bitrate)）。 2. **多代稳健性**：JPEG XS 允许至少 10 次编解码循环而不会出现明显的质量下降。\[\[7\]\](https://en.wikipedia.org/wiki/JPEG_XS#cite_note-7)例如，这一特性使得多个重新压缩信号的设备可以透明串联，而不会发生明显的质量下降。 3. **多平台互操作性**：JPEG XS 中使用的算法允许在 CPU (https://en.wikipedia.org/wiki/CPU)、GPU (https://en.wikipedia.org/wiki/GPU)、FPGA (https://en.wikipedia.org/wiki/FPGA)和 ASIC (https://en.wikipedia.org/wiki/ASIC)等不同平台上高效实现。每种平台架构只有在实现中具有特定程度的并行性时才能得到最佳利用。例如，多核 CPU 实现将利用粗粒度并行性，而 GPU 或 FPGA 实现则更适合细粒度并行性。此外，编码器实现中所选择的并行方式不会影响解码器的选择。这意味着不同平台之间的实时编解码是可行的，同时不会牺牲低复杂度、低延迟或高质量的特性。 4. **支持数学无损编码 (https://en.wikipedia.org/wiki/Lossless_compression)（MLS）**：JPEG XS 还能以数学无损的方式编码图像，在解码端实现完美重建（第 2 版支持的新 profile）。 5. **支持高动态范围 (https://en.wikipedia.org/wiki/High_Dynamic_Range)（HDR）内容**：当前版本的 JPEG XS 支持每分量最高 16 位的位深，并提供若干可参数化的非线性变换，以高效压缩 HDR 内容。 6. **支持 RAW Bayer/CFA 压缩**：JPEG XS 还能压缩色彩滤镜阵列 (https://en.wikipedia.org/wiki/Color_filter_array)（CFA）内容，例如数字相机产生的 RAW Bayer (https://en.wikipedia.org/wiki/Bayer_filter)内容。一种称为 Star-Tetrix 的特殊色彩变换允许高效、直接地压缩原始 RAW 采样值，而无需先将 Bayer 采样转换为 RGB 采样。\[\[8\]\](https://en.wikipedia.org/wiki/JPEG_XS#cite_note-8) 7. **精确的流量控制**：JPEG XS 编码器持续监控输出的比特量，并调整其码率分配过程，以避免超出或低于规范\[9\]\(https://en.wikipedia.org/wiki/JPEG_XS#cite_note-:1-9)定义的解码器输入缓冲区。 ## 应用领域 \[编辑 (https://en.wikipedia.org/w/index.php?title=JPEG_XS&action=edit&section=2)\] JPEG XS 正在多个应用领域中被积极使用。\[\[10\]\](https://en.wikipedia.org/wiki/JPEG_XS#cite_note-10) ### 视频链路和 IP 网络传输 \[编辑 (https://en.wikipedia.org/w/index.php?title=JPEG_XS&action=edit&section=3)\] 随着视频分辨率、帧率、位深和视频流数量的不断增加，视频带宽需求也在持续增长。虽然视频链路和通信通道的容量也在增长，但在某些应用中，JPEG-XS 提供的降低数据速率的优势十分明显。 广播和专业音视频市场正在向基于 AV-over-IP 的基础设施转变，远程制作倾向于使用千兆以太网 (https://en.wikipedia.org/wiki/Gigabit_Ethernet)链路，内部设施则倾向于使用更快的光纤以太网。考虑到可用带宽和基础设施成本，如果需要支持 4K、8K、更高的 HDR 位深和更高的帧率，依赖未压缩视频的成本可能会过高。 使用 XS，例如可以将现有的 SDI 电缆重新用于通过单根 3G-SDI（以 4:1 压缩比）传输 4K60 内容，甚至可以通过单根 HD-SDI（以 8:1 压缩比）传输。类似场景可用于通过各种 SDI 电缆类型（如 6G-SDI 和 12G-SDI）传输 8K60 内容。或者，XS 支持通过千兆以太网传输 4K60 内容，以及通过 5G 或万兆以太网 (https://en.wikipedia.org/wiki/10_Gigabit_Ethernet)传输 8K60 内容，而这在没有压缩的情况下是不可能实现的。 下表展示了一些典型用例的预期压缩范围。 视频流|视频吞吐量|链路类型|可用吞吐量|压缩比 ---|---|---|---|--- 2k 60fps 4:2:2 10bpc|2\.7 Gbit/s|HD\-SDI|1\.33 Gbit/s|~2:1 4k 60fps 4:2:2 10bpc|10\.6 Gbit/s|3G\-SDI|2\.65 Gbit/s|~4:1 2k 60fps 4:2:2 10bpc|2\.7 Gbit/s|1G Ethernet|0\.85 Gbit/s|~3:1 2k 60fps 4:4:4 12bpc|4\.8 Gbit/s|1G Ethernet|0\.85 Gbit/s|~6:1 4k 60fps 4:4:4 12bpc|19\.1 Gbit/s|10G Ethernet|7\.96 Gbit/s|~2\.2:1 8k 60fps 4:2:2 10bpc|42\.5 Gbit/s|10G Ethernet|7\.96 Gbit/s|~6:1 8k 120fps 4:2:2 10bpc|84\.9 Gbit/s|25G Ethernet|21\.25 Gbit/s|~4:1 ### 实时视频存储与播放 \[编辑 (https://en.wikipedia.org/w/index.php?title=JPEG_XS&action=edit&section=4)\] 与视频流传输相关的是高分辨率流的存储与检索，带宽限制在此同样适用。例如，摄像机使用 SSD 硬盘 (https://en.wikipedia.org/wiki/SSD_drive)或 SD 卡 (https://en.wikipedia.org/wiki/SD_card)等内部存储来记录高分辨率图像流，但此类存储设备的最大数据速率可能低于实时存储未压缩视频所需的速率。 JPEG XS 内置了使用 Star-Tetrix 颜色变换直接压缩 RAW Bayer (https://en.wikipedia.org/wiki/Bayer_filter)/CFA 图像的支持。该变换将 RAW Bayer 图案图像的采样去相关 (https://en.wikipedia.org/wiki/Decorrelation)为一个 4 分量图像，每个分量仅有四分之一的分辨率。\[\[11\]\](https://en.wikipedia.org/wiki/JPEG_XS#cite_note-11)这意味着需要进一步处理和压缩的采样总量保持不变，但数值已被去相关，类似于经典的多分量变换。 避免此类转换可以防止信息丢失，并允许这一步处理在相机外部完成。这样做的优势在于可以将 Bayer 内容的去马赛克 (https://en.wikipedia.org/wiki/Demosaicing)从拍摄时刻推迟到制作阶段，在那里可以更好地做出关于艺术意图和各种设置的决定；去马赛克过程是不可逆的，需要预先做出某些选择，如插值算法的选择或降噪水平的选择。去马赛克过程可能非常耗电，并且还会引入额外的延迟和复杂度。 ### JPEG XS（ISO/IEC 21122） \[编辑 (https://en.wikipedia.org/w/index.php?title=JPEG_XS&action=edit&section=7)\] JPEG XS 编码系统是一套 ISO/IEC (https://en.wikipedia.org/wiki/ISO/IEC)标准，由以下部分组成： 部分|第 1 版|第 2 版（现行）|第 3 版|标题|描述 ---|---|---|---|---|--- 1|2019 (https://www.iso.org/standard/74535.html)|2022 (https://www.iso.org/standard/81551.html)|2024 (https://www.iso.org/standard/85247.html) Amd1:2026 (https://www.iso.org/standard/92696.html)|核心编码系统|描述 JPEG XS 的核心编码系统。定义了语法，并与其他 JPEG 和 MPEG 图像编解码器类似，定义了从编码码流重建连续调数字图像的解压缩过程。为将数字图像压缩为压缩码流的逆过程（即编码过程）提供了一些指导，但将实现相关的优化和选择留给实现者。 2|2019 (https://www.iso.org/standard/74536.html)|2022 (https://www.iso.org/standard/81552.html)|2024 (https://www.iso.org/standard/85250.html) Amd1:2026 (https://www.iso.org/standard/93901.html) DAmd2 (https://www.iso.org/standard/94967.html)|Profile 与缓冲模型|在第 1 部分的基础上，将 JPEG XS 的不同应用和用途划分为带有更严格约束的缩减编码工具子集。Profile、Level 和 SubLevel 的定义允许在特定应用用例中降低实现的复杂性，同时保障互操作性。Profile 代表第 1 部分中指定的码流语法的互操作性子集。此外，Level 和 SubLevel 为编码（码流）和解码（空间和像素）图像域中的最大吞吐量提供了限制。还指定了一个缓冲模型，由解码器模型和传输信道模型组成，以保证低延迟要求达到帧大小的几分之一。 3|2019 (https://www.iso.org/standard/74537.html)|2022 (https://www.iso.org/standard/81553.html)|2024 (https://www.iso.org/standard/86420.html)|传输和容器格式|指定了 JPEG XS 码流的传输和容器格式。定义了重要元数据（如色彩空间、母版显示元数据 MDM 和 Exif (https://en.wikipedia.org/wiki/Exif)）的承载方式，以方便传输、编辑和呈现。定义了 XS 专用的 ISOBMFF box、Internet 媒体类型 (https://en.wikipedia.org/wiki/Internet_media_type)注册以及额外语法，以允许将 XS 嵌入 MP4、MPEG-2 TS 或 HEIF 图像文件格式等格式中。 4|2020 (https://www.iso.org/standard/74538.html)|2022 (https://www.iso.org/standard/82568.html)|2025 (https://www.iso.org/standard/88912.html)|一致性测试|提供一致性测试和缓冲模型验证。 5|2020 (https://www.iso.org/standard/74539.html)|2022 (https://www.iso.org/standard/82569.html)|2025 (https://www.iso.org/standard/89031.html)|参考软件|JPEG XS 第 1 部分解码器的参考软件实现（用 ISO C11 编写），符合第 2 部分的 profile、Level 和 SubLevel，以及一个示例编码器实现。 ### RFC 9134 — ISO/IEC 21122（JPEG XS）的 RTP 载荷格式 \[编辑 (https://en.wikipedia.org/w/index.php?title=JPEG_XS&action=edit&section=8)\] RFC 9134[\[12\]\](https://en.wikipedia.org/wiki/JPEG_XS#cite_note-12)描述了实时传输协议 (https://en.wikipedia.org/wiki/Real-time_Transport_Protocol)（RTP）的载荷格式，用于承载 JPEG XS 编码的视频。此外，该建议还为 JPEG XS 视频注册了官方媒体类型 (https://en.wikipedia.org/wiki/Media_type) `video/jxsv`，以及其所有参数到会话描述协议 (https://en.wikipedia.org/wiki/Session_Description_Protocol)（SDP）的映射。 JPEG XS 的 RTP 载荷格式 (https://en.wikipedia.org/wiki/RTP_payload_format)进而使得 JPEG XS 能够在 SMPTE 2110 (https://en.wikipedia.org/wiki/SMPTE_2110)环境中使用，配合 SMPTE ST 2110-22 进行 CBR 压缩视频传输。 另见 Video Services Forum (https://en.wikipedia.org/wiki/Video_Services_Forum)发布的 TR-08，\[13\]\(https://en.wikipedia.org/wiki/JPEG_XS#cite_note-13)。 ### 用于 JPEG XS 的 MPEG-TS \[编辑 (https://en.wikipedia.org/w/index.php?title=JPEG_XS&action=edit&section=9)\] ISO/IEC 13818-1:2023，即 MPEG-TS 第 9 版，指定了承载方式……