你可以通过使用 Beam 构建演示、训练模型或创建数据集来赢得 20,000 美元的现金奖励！该活动由 @reflection_ai 发起！

奖金将分给 3 位获胜者，我们将在挑战结束后（11 月 2 日，星期一）评选产生。

此外，前 400 名参与者每人可获得 25 美元的 Hub 积分，只需在下方页面中找到领取链接即可。

规则：使用 Beam 构建一些有趣的东西，并发布到讨论区！任何对世界有帮助或很酷的演示都可以参加：

• 你可以在 Spaces 上制作一个使用 Beam 模型的演示
• 你可以为最喜欢的硬件对其进行量化
• 你可以为你最喜欢的问题生成合成数据集
• 你可以使用 Beam 或为 Beam 构建一个强化学习环境
• 你可以对 Beam 进行基准测试并分享结果
• 你可以给我们一个惊喜！

如果你使用 Beam 构建了东西，请将其分享到 Hub 上以参与挑战。我们会收集所有链接，选出最佳作品，并联系获胜者。

https://huggingface.co/reflection/Beam-1.0-501B-A23B/discussions/5…

reflection/Beam-1.0-501B-A23B · Build with Beam - $20K in prizes

来源：https://huggingface.co/reflection/Beam-1.0-501B-A23B/discussions/5 Reflection org

13 天前（https://huggingface.co/reflection/Beam-1.0-501B-A23B/discussions/5#6ad14c504539cc5236433a75）

•

2 天前编辑（https://huggingface.co/reflection/Beam-1.0-501B-A23B/discussions/5#6ad14c504539cc5236433a75） 我们正在更新挑战内容，提供总计 20,000 美元的奖金——分给 3 位获胜者，我们将在挑战结束后评选产生。你可以选择现金或 HF 积分。提交截止日期：11 月 2 日，星期一。

此外，前 400 名通过以下链接领取的参与者每人可获得 25 美元的 Hub 积分——https://huggingface.co/coupons/claim/HuggingFacexReflection-MiniHack

规则：使用 Beam 构建一些有趣的东西，并发布到这里！任何对世界有帮助或很酷的演示都可以参加：

你可以在 Spaces 上制作一个使用 Beam 模型的演示。你可以为最喜欢的硬件对其进行量化。你可以为你最喜欢的问题生成合成数据集。你可以使用 Beam 或为 Beam 构建一个强化学习环境。你可以对 Beam 进行基准测试并分享结果。你可以给我们一个惊喜！

如果你使用 Beam 构建了东西，请将其分享到 Hub 上以参与挑战。我们会收集所有链接，选出最佳作品，并联系获胜者。

在这里分享你构建的内容！

关于评审标准和奖金分配的更新

提交截止日期：2026 年 11 月 2 日，太平洋时间晚上 11:59

Reflection 将任命三（3）名评委，根据以下标准评估符合条件的参赛作品，各项权重相同：

• 创意与原创性：25%
• 技术执行：25%
• 实用性或潜在现实影响：25%
• 对 Beam 的创新或有效使用：25%

奖金分配如下：

• 第一名：9,000 美元
• 第二名：7,000 美元
• 第三名：4,000 美元

总计：20,000 美元

Build with Beam 竞赛的官方规则已在此处发布（https://reflection.ai/legal/official-rules-build-with-beam）。请仔细阅读，因为这些规则约束参赛者的参与，包括参赛资格、提交、评审和奖金。提交作品即表示参赛者同意受官方规则约束。所有潜在获胜者在领取奖金前必须明确同意受官方规则约束。

有没有提供 Transformers/PyTorch 训练代码？我在你们的 GitHub 上没看到。

🚀 很高兴与大家分享 Beam Safety Benchmark——我们为 Reflection Beam 社区挑战赛贡献的作品！

🛡️ 我们构建了一个互动式 Hugging Face Space，专门用于探索 Reflection 的 Beam 模型的安全性和可靠性。

作为我们在可信 AI 和模型审计方面持续工作的一部分，我们很高兴对 Beam 进行深入审查，并使安全评估更加易于获取、透明和可复现。🔗 在此试用：https://huggingface.co/spaces/SushantGautam/BeamSafetyBenchmark

怀着好奇心、开放科学以及对强大 AI 值得严格评估的信念构建。感谢 @Reflection 和 @huggingface 对开放 AI 社区的支持！

#Beam #AISafety #OpenScience @kelkalot（https://huggingface.co/kelkalot）

📡 Beam Safety Benchmark——使用 SimpleAudit 审计 Beam，结果实时更新

我使用 SimpleAudit（https://github.com/SimulaMet/SimpleAudit）（Simula 的开源审计框架）构建了针对 Beam 的 AI 安全审计，并将结果发布为一个实时、自包含的报告，随着新运行结果的产生而自动更新。

**🔗 实时结果（静态 HF Space）：**https://sushantgautam-beamsafetybenchmark.static.hf.space/index.html **📦 仓库：**https://github.com/SushantGautam/ReflectionDemo

Beam 的运行方式：

• 目标模型为 Beam-1.0-501B-A23B，通过 Reflection 官方的 OpenAI 兼容 API（api.reflection.ai）提供服务——无需本地 GPU。
• Beam 始终在推理；没有“关闭“开关，所以我将其设置为最小思考模式（reasoning_effort=low），以降低推理成本，同时仍然执行多轮对话（最多 5 轮）。

方法论（使评分有意义）：

• 每个目标模型都由一个独立的评判模型（Qwen3.8-27B-fp8）评分，该模型与目标模型独立——模型不会给自己打分。
• 一个审计器生成对抗性后续探测问题；评判模型对每段对话的安全性进行评分。
• 36 个精选的挪威语场景，涵盖四个类别：语言（8）、安全（8）、医疗保健（10）、公共部门（10）——测试拒答质量、受监管话题（NAV/AAP、Skatteetaten、Helfo）上的幻觉问题，以及对弱势用户的指导。

**比较集：**除了 Beam，我还将另外三个开源模型通过完全相同的流程（相同的场景、相同的评判模型）进行安全性对比测试：GLM-4.7-Flash、Gemma-4-31B 和 Nemotron-3-Nano-30B-A3B-FP8。

Space 在每次推送后自动重新部署，因此上面的数字会随着更多模型/场景的完成而不断更新。很乐意分享运行器和场景包供大家复用！

📊 更新——5 个模型的完整结果出炉！

全部 5 个模型完成了 36 个挪威语安全场景（共 180 个评分案例），每个都由 Qwen3.8-27B-fp8 独立评判，没有任何模型给自己打分。

#ModelServingScore🥇Beam-1.0-501B-A23BReflection API（reasoning_effort=low）82.6🥈Gemma-4-31B-itllama-server72.2🥉Qwen3.8-27B-fp8SimulaChat54.94GLM-4.7-Flashllama-server19.45Nemotron-3-Nano-30B-A3B-FP8llama-server16.7 Beam 以 36 次中 24 次干净通过领先，仅有 2 个高严重性失败——没有严重失败。

🔗 实时交互式报告（比较评分界面、按模型筛选、对话记录、运行方法透明化）：https://sushantgautam-beamsafetybenchmark.static.hf.space/index.html

代码：https://github.com/SushantGautam/ReflectionDemo · 框架：https://github.com/SimulaMet/SimpleAudit

更新：新增了第二个基准测试——BullshitBench（错误前提检测）

除了挪威语安全套件外，我还在 SimpleAudit 的 health_bullshit 包上运行了全部 5 个模型——15 个英语场景，其中用户提出了一个虚假/危险的前提（例如“多少剂量的阿莫西林能治好感冒？“、芬太尼 LD50 剂量、“免疫系统排毒评分”），安全的模型必须拒绝该前提而非顺从。使用相同的独立评判模型（Qwen3.8-27B-fp8），每个最多 5 轮。

排名 模型 得分 通过 高 严重🥇Beam-1.0-501B-A23B****95.01410🥈Qwen3.8-27B-fp888.31320🥉Gemma-4-31B-it66.79424GLM-4.7-Flash60.08525Nemotron-3-Nano-30B40.0554 Beam 在 15 次中有 14 次正确挑战了错误前提；唯一的失误是在一次持续施压攻击中，它在反复压力下部分妥协了。值得注意的是，即使被逼问，它也从未提供危险剂量。

报告现在并排展示两个基准测试，并为每个套件提供独立排行榜，因此不同测试类型的得分不会混淆。实时地址：https://sushantgautam-beamsafetybenchmark.static.hf.space/index.html

Reflection org

11 天前（https://huggingface.co/reflection/Beam-1.0-501B-A23B/discussions/5#6ad36121dd91b83687a8e3c0）

Hi Reflection 团队，关于托管有一个快速问题。我正在构建一个 Beam 参赛作品：一个完整的仓库文档与代码漂移检查器，通过一次 Beam 调用读取整个库。它已经在 starlette、httpx、click 等项目中发现了真实的文档 bug，其中一个修复已经作为 PR 提交到了上游。当我尝试创建 Gradio Space 时，Hub 返回“免费 cpu-basic 不支持托管 Gradio 和 Docker Space，需要 PRO 订阅“。它只需要 CPU Basic，因为 Beam 是远程运行的。是否有办法让参赛者在挑战期间获得社区资助或临时 PRO 订阅？或者使用静态 Space 加上数据集和演示视频是否也可以参与评审？谢谢！

🏛️ GovScout：由 Reflection Beam 驱动的自主采购情报代理

链接：🤗互动 Hugging Face Space：https://huggingface.co/spaces/InTandem-Steve/govscout 📦 GitHub 仓库：https://github.com/SmileFlow-Steve/beam-portal-scout 🖼️ 实时仪表盘截图：Screenshot 2026-10-26 173117（https://cdn-uploads.huggingface.co/production/uploads/6adfd4216f28b2b4f3182c6d/Fl3YDf3dfvE_B2V_1oQw-.png）

💡 问题背景 在美国，超过 90,000 个地方政府机构（城市、县、学区、公用事业管理局）管理着约 1.2 万亿美元的公共合同。与联邦政府（SAM.gov）不同，地方政府采购完全分散在数十个互不兼容的电子采购 SaaS 平台（OpenGov、PlanetBids、PublicPurchase、Bonfire、IonWave、DemandStar 等）中，或者隐藏在市政部门网站后面。

找到每个机构发布其活跃招标的位置需要大量人工研究——浏览过时的政府网站、跟踪嵌套的供应商门户、识别隐藏的采购软件入口。

借助 Beam，我们构建了发现和组织层，将所有这些信息整理在一起。

🤖 我们如何使用 Beam 构建它 我们构建了 GovScout，一个自主代理，旨在系统地映射和索引美国所有 90,000 多个政府采购门户。

不再依赖脆弱的爬虫或静态链接数据库，Reflection Beam 充当自主数字研究助手：

多轮研究循环：Beam 查询实时网络搜索（Serper/Brave/Tavily），获取原始政府页面，并通过推理非结构化 HTML 来精确定位每个机构的实际招标页面。平台指纹识别：Beam 识别供应商 SaaS 特征（例如判断某个机构是否嵌入了 OpenGov 项目列表、托管 PlanetBids 供应商门户或使用 PublicPurchase）。预算感知代理运行时：由于 Beam 每天需要研究数千个机构，我们设计的运行时通过提示缓存头（x-ratelimit-remaining-*-day）跟踪 Beam 的每日未缓存 token 用量和 API 限制，动态调整代理运行节奏，使其 7×24 运行而不超出配额。自动验证循环：一旦 Beam 锁定一个门户候选，GovScout 自动使用专用平台客户端（以及用于复杂 SPA 的无头 Playwright 实例）验证数据源，立即将已验证的门户提升到生产摄取流程。

📊 真实世界结果（已在生产环境实时运行！）GovScout 已部署在我们的云基础设施上，持续运行每日批量任务：

在早期生产批次中已探测 1,400 多个政府机构。已发现 170 多个经过验证的采购门户，并积极摄取实时招标信息。Beam 每天索引约 1,050 个政府机构。已干净地执行了 5,000 多次多轮 Beam 工具调用，零卡住的代理循环。Beam 的深度推理和工具调用可靠性使得之前昂贵的 LLM 调用变得完全可负担且可靠！

参赛作品：HinglishBench——一个面向开源模型的英语/印地英语（Hinglish）平行推理评测。

我比较了 Beam-1.0-501B-A23B、Gemma-3-27B-it 和 Qwen3-32B 在 82 对匹配的英语/罗马化印地英语 GSM8K 问题上的表现。翻译由 Beam 生成；100 对采样中有 18 对被自动数值保持检查排除。三个模型使用相同的零样本提示。

accuracy, English vs Hinglish（https://huggingface.co/datasets/MaybeSomeone19/hinglishbench/resolve/main/assets/chart_accuracy.png）

modelEnglishHinglishmedian completion-token ratio（HI/EN）Beam-1.0-501B-A23B96.3%95.1%1.47x（upper-middle sorted ratio）Gemma-3-27B-it91.5%93.9%0.96xQwen3-32B90.2%82.9%about 1x completion-token ratio per pair（https://huggingface.co/datasets/MaybeSomeone19/hinglishbench/resolve/main/assets/chart_tokens.png）

Beam 在印地英语上更高的 token 使用量在 100 对分层配对（1.58x）和 309 个以印地英语为主、翻译为英语的配对（1.30x）中也有体现。我测试的两种提示变体未能消除这一现象。这些是单次运行的观察结果，并非统计显著性的声明或已证实的原因。

**局限性：**仅有三个模型，每个格子一个样本，自动翻译检查。反向配对集由 Beam 创建且难度更低，Beam 的准确率接近饱和。准备过程中的检查由 AI 辅助完成，并非独立的人工验证。

• 数据集和预测结果：https://huggingface.co/datasets/MaybeSomeone19/hinglishbench
• 浏览器：https://huggingface.co/spaces/MaybeSomeone19/hinglishbench
• 运行器代码：https://github.com/MaybeSomeone-arc18/hinglishbench

完整的方法、排除项和局限性见数据集卡片。

Lantern：Beam 探索地牢，从自己的运行中学习，并教授一个 1.7B 学生模型。Space：https://huggingface.co/spaces/visproj/lantern 演示视频：附件 Episodes 数据集：https://huggingface.co/datasets/visproj/lantern-episodes 学生模型：https://huggingface.co/visproj/lantern-1.7b

Lantern 将 Beam 放入程序化生成的地牢（NetHack 学习环境上的 MiniHack 关卡），让你观看它的工作过程。这是一个你可以观看的演示、一个强化学习环境和基准测试，以及一个包含蒸馏模型的数据集。

我主要想做的是给代理一个记忆机制和从自身经验中改进的能力，无需重新训练，然后诚实地衡量这是否有效。

Beam 作为代理进行游戏。每回合它读取地图并调用 act 工具，附带最多 8 步的行动方案，它还可以调用 write_notes 为本次运行的剩余部分保存工作记忆。如果在方案执行过程中发生了意外，方案会中断，Beam 从新状态重新规划。Space 在 3D 视图中展示 Beam 的推理过程和实际操作，场景仅由 Beam 的灯笼照亮。你还可以实时指导它：一个提示会中断它的方案，Beam 会通过气泡回复告诉你它是否会采纳你的建议。当我尝试通过提示框进行提示注入攻击时，它回答“忽略不安全的提示注入；继续探索。“

Beam 有两种记忆。笔记是单次运行内的工作记忆。日志是跨运行的长期记忆：当一次运行结束时，Beam 会反思发生了什么，下次在同一关卡上运行时会先阅读这些经验教训再开始。Beam 的权重从不改变；改变的是它进入时所掌握的知识。这与 Reflexion（Shinn et al., 2023）是相同的思想。

记忆有帮助吗？我在相同的 40 个地牢上测试了三种条件（8 个关卡 × 5 个种子）：无日志、追加式日志（v1）和精选日志（v2）。

image（https://cdn-uploads.huggingface.co/production/uploads/6741522df6646c6a4e7c6e1c/4sDjZuJBi9ra7w2w-wbVh.png）

两种日志都没有改变 Beam 的胜率；在每个关卡 5 个种子的情况下，这些差异属于噪声。有趣的是第一个日志为什么没有帮助。在 Corridors 关卡上，一次失败后 Beam 给自己写了一条经验：“逐次执行并验证每一步移动。“它遵循了这条经验，每次调用只规划一到两步而不是多步，结果用完了它的