XingChen-AGI/Xing4.0-29B-A4B · Hugging Face

来源：https://huggingface.co/XingChen-AGI/Xing4.0-29B-A4B

本仓库提供 Xing4.0-29B-A4B 模型的权重和配置文件，采用 Hugging Face Transformers 格式，兼容 Transformers、vLLM、SGLang、KTransformers 及其他主流推理框架。

Xing4.0-29B-A4B 是星辰系列（原TeleChat (https://github.com/Tele-AI/TeleChat3)）的下一代大语言模型，由中国电信人工智能科技有限公司研发。模型总参数量为 29B，每个 token 仅激活 4B 参数，原生支持 256K 上下文长度，可扩展至 512K。它是首个在昇腾 NPU 平台上使用 MindSpore 框架完成全量训练的此规模模型，并针对复杂工程任务进行了深度优化。

如需更多信息，请参阅我们的GitHub仓库 (https://github.com/XingChen-AGI/Xing4.0-29B-A4B)。

亮点

• 智能体导向架构：基于 mHC + MLA + MTP 架构构建，支持多步规划、工具调用与复杂推理链执行，在长上下文下确保任务连贯性与执行稳定性。
• 与昇腾 NPU 深度协同优化：针对昇腾 910C 集群，采用 MindSpore/MindFormers 进行适配，包括 mHC 特征适配与算子融合开发，实现了在昇腾平台上的稳定高效训练。
• 显著的训练效率提升：通过多层次协同优化——包括细粒度 MoE 通信优化、选择性重计算、DVM 自动图-算子融合以及 Ascend C mHC 融合算子——整体训练吞吐量较开箱性能提升约 96%。
• 全面的开源生态兼容性：支持 LLaMA-Factory 和 MindFormers 进行微调；支持 SGLang、vLLM 和 KTransformers 进行推理与部署；针对 OpenCode、Claude Code、OpenClaw、Hermes 等智能体框架进行了定向适配与格式对齐，可无缝融入现有工作流。
• 领域场景易于适配：模型非常适合下游任务微调，允许在垂直领域（如意图分类、表格理解、合同审计、知识问答等）的私有数据上进行轻量化定制，实现低成本、快速的领域能力开发与部署。

模型概览

Xing4.0-29B-A4B参数量29B（4B 激活）层数40隐藏维度3584稠密 FFN 中间维度9216专家中间维度1024注意力类型MLA路由专家数量64每 token 激活专家数4共享专家数1上下文长度256K（可扩展至 512K）

基准测试

基准测试Xing4.0-29B-A4BGemma4-26B-A4BQwen3.6-35B-A3BIFBench69.6772.6765.50AIME202690.0088.3092.70AA.LCR61.0066.0062.00Tau3-Bench64.6358.9067.20Claw-Eval76.5571.4974.54SWE-bench Verified75.0053.0076.00Terminal-Bench 2.157.5030.0051.50SWE-bench Multilingual66.0051.0067.20DeepresearchBII60.8039.3059.70

快速开始

推理

Xing4.0-29B-A4B 可通过兼容 OpenAI 的 API 访问。

`` from openai import OpenAI

client = OpenAI( base_url=“your-base-url”, api_key=“your-api-key”, )

completion = client.chat.completions.create( model=“Xing4.0-29B-A4B”, messages=[{“role”: “user”, “content”: “简述量子计算的基本原理。”}], temperature=1.0, top_p=0.95, extra_body={ “repetition_penalty”: 1.05, “skip_special_tokens”: False, “spaces_between_special_tokens”: False, “chat_template_kwargs”: { “enable_thinking”: True, # 设为 False 可禁用思考 }, }, )

print(completion.choices[0].message.content) ``

部署

Xing4.0-29B-A4B 支持使用vLLM (https://github.com/vllm-project/vllm)、SGLang (https://github.com/sgl-project/sglang) 和KTransformers (https://github.com/kvcache-ai/ktransformers) 进行部署。详细的启动说明，请参阅我们的GitHub仓库 (https://github.com/XingChen-AGI/Xing4.0-29B-A4B)。

推荐参数

场景temperaturetop_prepetition_penalty复杂推理/通用任务1.00.951.05编码/智能体任务0.80.951.05

脚注

• SWE-bench Verified：我们使用 SWE\-agent 框架评估 Xing4.0-29B-A4B，参数设置为 temperature=1\.0, top\_p=0\.95, repetition\_penalty=1\.05，上下文窗口为 210K。
• Terminal-Bench 2.1：我们在 terminus\-2 中评估，参数为 temperature=0\.8, top\_p=0\.95, repetition\_penalty=1\.05, max\_tokens=64K，超时时间 24 小时。报告 3 次运行的平均分数。
• SWE-bench Multilingual：我们使用 SWE\-agent 框架评估 Xing4.0-29B-A4B，参数设置为 temperature=1\.0, top\_p=0\.95, repetition\_penalty=1\.05，上下文窗口为 210K。
• Claw-Eval：我们使用官方框架 (https://github.com/claw-eval/claw-eval) 进行评估，参数为 temperature=0\.8, top\_p=0\.95, repetition\_penalty=1\.05, max\_tokens=16384，上下文窗口 256K。报告 3 次运行的平均分数。
• Tau3-Bench：我们使用官方框架 (https://github.com/sierra-research/tau-bench) 进行评估，参数为 temperature=0\.8, top\_p=0\.95, repetition\_penalty=1\.05, max\_tokens=16384。报告 4 次运行的平均 pass^1 分数。
• DeepresearchBII：我们使用 OpenCode 框架评估，参数为 temperature=0\.8, top\_p=0\.95, repetition\_penalty=1\.05, max\_tokens=32768，上下文窗口 256K，并启用了 Exa MCP 服务器。
• AIME2026：我们评估参数为 temperature=1\.0, top\_p=0\.95, repetition\_penalty=1\.05, max\_tokens=131072。报告 5 次独立运行的平均分数。
• IFBench：我们评估参数为 temperature=0\.8, top\_p=0\.95, repetition\_penalty=1\.05, max\_tokens=81920。
• AA.LCR：我们评估参数为 temperature=1\.0, top\_p=0\.95, repetition\_penalty=1\.05, max\_tokens=65536。报告 3 次运行的平均分数。

引用

`` @misc{liu2025trainingreporttelechat3moe, title={Training Report of TeleChat3-MoE}, author={Xinzhang Liu and Chao Wang and Zhihao Yang and Zhuo Jiang and Xuncheng Zhao and Haoran Wang and Lei Li and Dongdong He and Luobin Liu and Kaizhe Yuan and Han Gao and Zihan Wang and Yitong Yao and Sishi Xiong and Wenmin Deng and Haowei He and Kaidong Yu and Yu Zhao and Ruiyu Fang and Yuhao Jiang and Yingyan Li and Xiaohui Hu and Xi Yu and Jingqi Li and Yanwei Liu and Qingli Li and Xinyu Shi and Junhao Niu and Chengnuo Huang and Yao Xiao and Ruiwen Wang and Fengkai Li and Luwen Pu and Kaipeng Jia and Fubei Yao and Yuyao Huang and Xuewei He and Zhuoru Jiang and Ruiting Song and Rui Xue and Qiyi Xie and Jie Zhang and Zilu Huang and Zhaoxi Zhang and Zhilong Lu and Yanhan Zhang and Yin Zhang and Yanlei Xue and Zhu Yuan and Teng Su and Xin Jiang and Shuangyong Song and Yongxiang Li and Xuelong Li}, year={2025}, eprint={2512.24157}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2512.24157}, }

@misc{wang2025technicalreporttelechat2telechat25, title={Technical Report of TeleChat2, TeleChat2.5 and T1}, author={Zihan Wang and Xinzhang Liu and Yitong Yao and Chao Wang and Yu Zhao and Zhihao Yang and Wenmin Deng and Kaipeng Jia and Jiaxin Peng and Yuyao Huang and Sishi Xiong and Zhuo Jiang and Kaidong Yu and Xiaohui Hu and Fubei Yao and Ruiyu Fang and Zhuoru Jiang and Ruiting Song and Qiyi Xie and Rui Xue and Xuewei He and Yanlei Xue and Zhu Yuan and Zhaoxi Zhang and Zilu Huang and Shiquan Wang and Xin Wang and Hanming Wu and Mingyuan Wang and Xufeng Zhan and Yuhan Sun and Zhaohu Xing and Yuhao Jiang and Bingkai Yang and Shuangyong Song and Yongxiang Li and Zhongjiang He and Xuelong Li}, year={2025}, eprint={2507.18013}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2507.18013}, } ``

XingChen-AGI/Xing4.0-29B-A4B 模型树https://huggingface.co/docs/hub/model-cards#specifying-a-base-model

XingChen-AGI/Xing4.0-29B-A4B 相关论文