Ling 3.0 (在 Nous 上)

Reddit r/AI_Agents 模型
ling-3-0 nous performance-issues context-length quantization ai-feedback

摘要

本文讨论了用户报告的来自 Nous 的 Ling 3.0 AI 模型的问题，重点关注文本输出和上下文长度限制的问题，可能与量化或速率限制有关。

Ling 3.0 有时表现很好。其他时候，它在输出文本时出现问题。它字面上告诉自己要“说 X”，但随后却没有。这似乎有时从 55k 上下文开始，这并不多。我不确定 Nous 是在使用完整模型还是 1.3 位量化模型。我不知道速率限制是否是部分原因。
查看原文

相似文章

Ling 3.0 闪存/微型基础模型

Reddit r/LocalLLaMA

InclusionAI 已开源 Ling-3.0 系列，该系列具有高效的语言模型，采用稀疏 MoE 架构和混合线性注意力，提供不同训练阶段的检查点，以支持研究和创新。