TheOneWhoWill/Shibai-700M-Base · Hugging Face

来源：https://huggingface.co/TheOneWhoWill/Shibai-700M-Base

https://huggingface.co/TheOneWhoWill/Shibai-700M-Base#shibai-700m-baseShibai 700M Base

这是一个拥有 7 亿参数的 LLaMA 基础模型，在超过 180 亿 Token 的英文文本、数学和 Python 代码上进行了预训练，原生上下文长度为 2k。训练分为两个阶段：首先构建一个能够理解并生成文本的扎实基础模型，然后通过持续预训练阶段提升其推理和编码能力。使用 RoPE 缩放（RoPE scaling）使得模型可以在无需额外训练的情况下，以相同质量外推至更长的上下文（最高 8k Token）。虽然与 Qwen 3 0.6B 或 Qwen 3.5 0.8B 等模型相比，该模型可能被认为训练不足，但它仍能在广泛的主题上生成连贯且上下文相关的文本。值得注意的是，该模型仅在一张 RTX 5070 Ti GPU 上训练了 400 小时，这在资源效率方面是一项显著的成就。

https://huggingface.co/TheOneWhoWill/Shibai-700M-Base#model-specs-overview模型规格概览

• 参数量：678.4M
• 隐藏层大小：1280
• 层数：28
• 注意力头数：16（KV：4）
• 中间层大小：4480
• 序列长度：2048
• RoPE Theta：10,000
• 词表大小：32,000

https://huggingface.co/TheOneWhoWill/Shibai-700M-Base#getting-started快速上手

要使用此模型，你可以通过 Hugging Face Transformers 库加载它。加载模型可使用以下代码片段：

from transformers import AutoModelForCausalLM, AutoTokenizer

MODEL_ID = "TheOneWhoWill/Shibai-700M-Base"

processor = AutoTokenizer.from_pretrained(MODEL_ID)
model = AutoModelForCausalLM.from_pretrained(MODEL_ID, device_map="auto")

将模型加载到内存后，可使用以下代码片段开始生成输出：

prompt = "Once upon a time"
inputs = processor(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(
    **inputs,
    max_new_tokens=256,
    do_sample=True,
    temperature=0.3,
    top_p=0.95,
    top_k=50,
    repetition_penalty=1.15,
    no_repeat_ngram_size=3,
)
generated_text = processor.decode(outputs[0], skip_special_tokens=True)
print(generated_text)

请注意，此模型是在 2k 上下文长度下预训练的，因此不能期望它生成停止标记。该模型适用于简单的下一个 Token 预测任务，但未针对指令遵循或对话任务进行微调。对于这些任务，我计划在不久的将来发布此模型的微调版本。