ServiceNow-AI/Apriel-Voice-27B-preview · Hugging Face

来源：https://huggingface.co/ServiceNow-AI/Apriel-Voice-27B-preview Apriel Voice 27B 预览版 (https://huggingface.co/ServiceNow-AI/Apriel-Voice-27B-preview/resolve/main/assets/apriel-voice-preview-cover.png)

来自ServiceNow的开放模型，支持语音、推理和工具使用

Apriel Voice 27B 预览版能够理解口头请求，基于对话上下文进行推理，并通过共享的 Gemma 4 主干网络生成文本回复和工具调用。它在保留文本和图像输入能力的同时，增加了语音接口。将其与外部语音合成器搭配使用，即可构建交互式语音助手、客户支持工作流和通过语音使用工具的应用。

试用 Apriel Live (https://servicenow-ai-apriel.hf.space/home)·阅读博客 (https://servicenow-ai-apriel.hf.space/blog/apriel-voice-preview)·技术报告 (https://servicenow-ai-apriel.hf.space/documents/apriel-voice-preview-tech-report)

https://huggingface.co/ServiceNow-AI/Apriel-Voice-27B-preview#model-capabilities模型能力

Apriel Voice 架构 (https://huggingface.co/ServiceNow-AI/Apriel-Voice-27B-preview/resolve/main/assets/apriel-voice-architecture.png)

能力支持内容语音理解转写、翻译和口语问答。推理和工具使用遵循指令、处理多步骤请求，以及生成结构化工具调用。多模态上下文在共享对话中处理音频、文本、图像和工具结果。语音应用将文本回复与外部语音合成及应用管理的轮次交替配合使用。 该模型支持转写、语音翻译、口头指令遵循、推理和函数调用。应用负责执行工具并将结果返回对话。实时语音交互由应用和推理服务技术栈支持；模型检查点本身生成的是文本和工具调用，而非原生全双工语音。

Whisper large-v3-turbo 语音编码器通过一个经过学习的投影器连接到 Gemma 4 26B-A4B 主干网络。训练首先对齐这一语音接口，然后使用语音任务和文本回放，将其与主干网络一同进行适配。交叉熵监督和教师蒸馏监督因数据来源而异；技术报告 (https://servicenow-ai-apriel.hf.space/documents/apriel-voice-preview-tech-report)介绍了完整的训练方案。

https://huggingface.co/ServiceNow-AI/Apriel-Voice-27B-preview#long-audio长音频

处理器会自动将较长的 16 kHz 单声道录音切分为 30 秒的片段。在测试中，我们观察到模型对最长约 30 分钟的连续录音表现良好。模型支持更长的录音，但性能可能随时长增加而下降；建议对较长音频启用思考模式。

音频片段与对话的其余部分共享总上下文预算。实际可接受的输入长度还取决于 GPU 显存和编码器缓存。下方的推理服务示例包含适用于 30 分钟音频的设置，以及适用于一小时输入的可选设置。

https://huggingface.co/ServiceNow-AI/Apriel-Voice-27B-preview#english-results英语评测结果

Apriel Voice 的EVA-A 得分为 51.27%、EVA-X 得分为 74.13%、τ-Voice 任务成功率为 65.51%，τ-Voice 平均响应延迟为 1.91 秒。在 LibriSpeech 上，test-clean 的词错误率为 2.23%，test-other 的词错误率为 5.15%；WER 越低越好。

系统类型来源EVA-A ↑EVA-X ↑τ-Voice pass@1 ↑延迟 (秒) ↓GPT Realtime 2.1S2S专有59.0361.669.821.55Gemini-3.8 Live Extended ThinkingS2S专有54.8273.584.191.50Flux + Gemma 4-26B三阶段混合36.0729.2265.922.92Parakeet + Gemma 4-26B三阶段开源39.973.9367.783.01UltraVox v0.6 (Qwen)两阶段开源8.941.9126.803.95Gemma 4-12B-IT两阶段开源13.255.9724.203.61Audex-30B-A3B两阶段开源5.668.217.152.83Apriel Voice 27B 预览版两阶段开源51.2774.1365.511.91 EVA-A 衡量服务准确性，EVA-X 衡量对话体验。EVA-A/X 和 τ-Voice pass@1 均采用 0–100 分制；越高越好。主要展示的 EVA 和 τ-Voice 结果采用各领域等权平均值，而非按各领域的案例数量加权。Apriel Voice 在这些评测中使用思考模式。

S2S 表示原生语音到语音系统，这类系统使用自身的语音合成功能。三阶段系统使用 ASR + LLM + TTS；两阶段系统将语音接口连接到推理主干网络，并使用外部语音合成。所有参与评测的两阶段和三阶段系统均使用Cartesia Sonic 3.5。延迟描述的是被评测的完整语音系统，包括回复生成和语音合成，并且取决于部署设置。

音频推理、响应速度、任务成功率和 EVA 的能力比较 (https://huggingface.co/ServiceNow-AI/Apriel-Voice-27B-preview/resolve/main/assets/apriel-voice-capability-radar.png)

雷达图的音频推理轴是八项基准测试的平均值：BFCL、Big Bench Audio、IFEval、MT-Bench、Spoken SQuAD、Alpaca Audio、OpenHermes 和 GSM8K（Apriel Voice 为85.84）。响应速度轴将延迟转换为越高越好的分数；它并非实测准确率。对于以秒为单位的延迟t，分数为100 × clip\(\(4\.0 − t\) / \(4\.0 − 0\.25\), 0, 1\)。

英语 EVA 准确性和对话体验比较 (https://huggingface.co/ServiceNow-AI/Apriel-Voice-27B-preview/resolve/main/assets/apriel-voice-eva-comparison.png)

τ-Voice 任务成功率和响应延迟比较 (https://huggingface.co/ServiceNow-AI/Apriel-Voice-27B-preview/resolve/main/assets/apriel-voice-tau-voice-comparison.png)

https://huggingface.co/ServiceNow-AI/Apriel-Voice-27B-preview#text-reasoning-and-tool-use文本推理和工具使用

这些结果中，Gemma 4 26B-A4B 和 Apriel Voice 均使用思考模式下的文本输入。分数采用 0–100 分制；越高越好。τ2 结果是以 GPT-5.2 作为用户模拟器，在三个领域上的平均值。

基准测试Gemma 4 26B-A4BApriel VoiceMMLU-Pro85.2784.42GPQA Diamond77.8080.40AIME 202492.0092.00AIME 202581.6781.67MATH-50092.7692.88AMC 2023100.00100.00τ2 (GPT-5.2 用户模拟器)68.9370.95

https://huggingface.co/ServiceNow-AI/Apriel-Voice-27B-preview#english-speech-recognition英语语音识别

部分英语基准测试上的词错误率 (WER, %)；越低越好。

基准测试Apriel Voice WER ↓LibriSpeech test-clean2.23LibriSpeech test-other5.15GigaSpeech10.20μ-Bench (en-US)10.76FLEURS (en-US)3.55Earnings2111.25

https://huggingface.co/ServiceNow-AI/Apriel-Voice-27B-preview#speech-reasoning-and-instruction-following语音推理和指令遵循

这些结果使用思考模式下的音频输入。分数采用 0–100 分制；越高越好。平均值对八项基准测试赋予相同权重。

基准测试Apriel Voice ↑BFCL81.13Big Bench Audio98.90IFEval86.47MT-Bench86.19Spoken SQuAD82.24Alpaca Audio76.8OpenHermes81.8GSM8K93.18 各领域的详细结果、评测协议以及文本和图像评测，请参阅技术报告 (https://servicenow-ai-apriel.hf.space/documents/apriel-voice-preview-tech-report)。

https://huggingface.co/ServiceNow-AI/Apriel-Voice-27B-preview#standard-serving标准推理服务部署

我们提供基于 v0.32.0 且支持 Apriel Voice 的标准 vLLM Docker 镜像。以下命令在四张 GPU 上部署模型，并在端口 8000 上提供兼容 OpenAI 的 API。

Docker 镜像：docker\.io/amant555/vllm\_apriel\_voice:plain\-26b\-v0\.32\.0

vllm serve \ --model ServiceNow-AI/Apriel-Voice-27B-preview \ --trust-remote-code \ --served-model-name Apriel-Voice-27B \ --dtype bfloat16 \ --host 0.0.0.0 --port 8000 \ --max-model-len 262144 \ --max-num-batched-tokens 16384 \ --tensor-parallel-size 4 \ --gpu-memory-utilization 0.95 \ --speculative-config '{"model":"google/gemma-4-26B-A4B-it-assistant","num_speculative_tokens":3}' \ --default-chat-template-kwargs '{"enable_thinking":true}' \ --enable-auto-tool-choice \ --tool-call-parser gemma4 \ --reasoning-parser gemma4

VLLM\_MAX\_AUDIO\_DECODE\_DURATION\_S控制服务器允许解码的音频时长。\-\-max\-num\-batched\-tokens设置用于容纳编码后音频特征的批处理预算。两个推理服务示例均采用 1,800 秒的接收上限和 16,384 个 token 的预算。对于一小时输入，可将它们改为VLLM\_MAX\_AUDIO\_DECODE\_DURATION\_S=3600和\-\-max\-num\-batched\-tokens 32768，但仍受总上下文和可用显存限制；这些设置允许接收更长的音频，但不保证处理质量。

https://huggingface.co/ServiceNow-AI/Apriel-Voice-27B-preview#optimized-serving优化推理服务部署

在四张 H100 80 GB GPU 上，使用所提供镜像的优化配置，其实测输出 token 吞吐量约为支持 Apriel 的基准 vLLM 配置的 2 倍。

优化镜像用于 EVA 和 τ-Voice 评测，以及 Apriel Live 部署。

下方四张 GPU 的配置与优化后的启动设置一致，并使用公开的模型标识符。该镜像保留了内置的环境优化，包括 FlashInfer 通信、融合的 Gemma 运算、助手采样和 H100 调优。显式入口点会直接启动 vLLM，同时保留镜像中的这些默认环境设置。

Docker 镜像：docker\.io/amant555/vllm\_apriel\_voice:optimised\-26b\-v0\.32\.0

vllm serve \ --model ServiceNow-AI/Apriel-Voice-27B-preview \ --trust-remote-code \ --served-model-name Apriel-Voice-27B \ --dtype bfloat16 \ --max-model-len 262144 \ --host 0.0.0.0 \ --port 8000 \ --async-scheduling \ --enable-auto-tool-choice \ --tool-call-parser gemma4 \ --reasoning-parser gemma4 \ --no-enable-log-requests \ --max-num-batched-tokens 16384 \ --gpu-memory-utilization 0.90 \ --speculative-config '{"model":"google/gemma-4-26B-A4B-it-assistant","num_speculative_tokens":7,"draft_sample_method":"probabilistic","rejection_sample_method":"standard","num_speculative_tokens_per_batch_size":[[1,1,5],[2,100,7]]}' \ --default-chat-template-kwargs '{"enable_thinking":true}' \ --max-num-seqs 50 \ --tensor-parallel-size 4 \ --distributed-executor-backend mp \ --compilation-config '{"max_cudagraph_capture_size":1024,"pass_config":{"fi_allreduce_fusion_max_size_mb":8}}' \ --attention-config '{"backend":"FLASH_ATTN","flash_attn_version":4}' \ --block-size 32

https://huggingface.co/ServiceNow-AI/Apriel-Voice-27B-preview#inference-examples推理示例

通用指令遵循使用 temperature1\.0、top-p0\.95和 top-k64。识别和翻译评测使用 temperature0\.4，并采用相同的 top-p 和 top-k。推理和工作流任务应启用思考模式；下方的转写示例将其关闭。API 请求使用服务名称**Apriel\-Voice\-27B**。

https://huggingface.co/ServiceNow-AI/Apriel-Voice-27B-preview#openai-compatible-api-audio-input兼容 OpenAI 的 API：音频输入

`` from openai import OpenAI

client = OpenAI(base_url=“http://localhost:8000/v1”, api_key=“EMPTY”) audio_url = ( “https://huggingface.co/ServiceNow-AI/Apriel-Voice-27B-preview/” “resolve/main/assets/test_audio_short.wav” )

response = client.chat.completions.create( model=“Apriel-Voice-27B”, messages=[{ “role”: “user”, “content”: [ {“type”: “audio_url”, “audio_url”: {“url”: audio_url}}, {“type”: “text”, “text”: “请以原始语言转写这段语音。”}, ], }], temperature=0.4, top_p=0.95, max_tokens=1024, extra_body={ “top_k”: 64, “chat_template_kwargs”: {“enable_thinking”: False}, }, ) print(response.choices[0].message.content) ``

对于纯文本请求，将用户消息的content设为字符串。对于函数调用，传入兼容 OpenAI 的tools定义，并检查response\.choices\[0\]\.message\.tool\_calls。

https://huggingface.co/ServiceNow-AI/Apriel-Voice-27B-preview#transformers-audio-inputTransformers：音频输入

`` import urllib.request

import librosa import torch from transformers import AutoModel, AutoProcessor

model_id = “ServiceNow-AI/Apriel-Voice-27B-preview” model = AutoModel.from_pretrained( model_id, dtype=torch.bfloat16, device_map=“auto”, trust_remote_code=True ) processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True) audio_url = ( “https://huggingface.co/ServiceNow-AI/Apriel-Voice-27B-preview/” “resolve/main/assets/test_audio_short.wav” ) audio_path, _ = urllib.request.urlretrieve(audio_url) audio, sr = librosa.load(audio_path, sr=16000, mono=True) messages = [{ “role”: “user”, “content”: [ {“type”: “audio”, “audio”: audio}, {“type”: “text”, “text”: “请以原始语言转写这段语音。”}, ], }]

分词器负责管理聊天模板及其思考模式开关。

text = processor.tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=True, enable_thinking=False ) inputs = processor(text=text, audio=audio, sampling_rate=sr, return_tensors=“pt”) inputs = { key: value.to(model.device) if isinstance(value, torch.Tensor) else value for key, value in inputs.items() } input_len = inputs[“input_ids”].shape[-1] with torch.inference_mode(): output = model.generate( **inputs, max_new_tokens=1024, do_sample=True, temperature=0.4, top_p=0.95, top_k=64 ) decoded = processor.decode(output[0][input_len:], skip_special_tokens=False) print(processor.parse_response(decoded)) ``

https://huggingface.co/ServiceNow-AI/Apriel-Voice-27B-preview#limitations局限性

• 输出和工具调用可能存在错误或偏差。请验证操作和事实性陈述，并在错误可能造成重大后果的场景中实施人工监督。
• 音频应为 16 kHz 单声道。多语言性能参差不齐；英语评测结果并不意味着其他语言也具有相当的质量。嘈杂环境和远距离麦克风录制的语音仍具有挑战性。
• 忠实执行并可靠完成复杂工具工作流仍存在局限；请验证工具参数、结果以及最终任务完成情况。
• 较长录音可能导致重复或失去连贯性；准备输入时，请使用思考模式并参考长音频指南 (https://huggingface.co/ServiceNow-AI/Apriel-Voice-27B-preview#long-audio)。
• 语音合成和轮次处理属于应用组件。端到端体验取决于这些组件，以及模型和硬件。
• 基准测试分数反映的是所评测的配置。它们不保证在不同工作负载或部署中具有相同的准确率、吞吐量或延迟。

https://huggingface.co/ServiceNow-AI/Apriel-Voice-27B-preview#license许可证

MIT。

https://huggingface.co/ServiceNow-AI/Apriel-Voice-27B-preview#citation引用

@misc{tiwari2026aprielvoice27bpreview, title={Apriel Voice 27B Preview}, author={Aman Tiwari and Akshay Kalkunte and Akintunde Oladipo and Jash Shah and Tara Bogavelli and Hoang Nguyen and Nishanth Madhusudhan and Vishal Juneja and Sridhar Nemala and Srinivas Sunkara and Sathwik Tejaswi Madhusudhan and Shruthan Radhakrishna and Masoud Hashemi and Kelechi Ogueji and Khalil Slimi and Saloni Mittal and Pulkit Pattnaik and Shashank Maiya and Dhruv Jhamb and Esakkivel Esakkiraja and Katrina Stankiewicz and Gabrielle Gauthier Melançon and Fanny Riols and Amit Saha and Lakshmi Sirisha Chodisetty and Nitin Aggarwal and Anil Madamala and Sagar Davasam and Segan Subramanian and Vikas Yadav and Sai Rajeswar Mudumba}, year={2026}, url={https://huggingface.co/ServiceNow-AI/Apriel-Voice-27B-preview} }