# 我添加了 48 个免费的从零构建 AI 工程项目,其中每个由你编写的阶段都会由一个评分器进行检查 [P]

Reddit r/MachineLearning 工具

摘要

Rohit G 为 MIT 许可的《AI Engineering from Scratch》课程新增了「Projects」(项目)板块,收录了 48 个使用多种编程语言从零构建的 AI 项目,并配备自动评分系统,可对每个阶段进行测试。

我在维护 **AI Engineering from Scratch** —— 一个发布在 GitHub 上、采用 MIT 许可证的课程体系。到目前为止,它一直只是课程内容。我刚刚新增了 **Projects(项目)** 板块,因为阅读一个 agent loop 的原理,和亲手构建一个能通过自身测试的 agent loop,是两种不同的技能。每个项目最终都会产出一个你真正可以运行的工具。以下是其中一些: - **Tiny Coding Agent(Python)**:一个有边界的循环,在一次性的工作区中应用精确补丁,并通过一条被允许的命令运行真实的测试 - **Research Report Agent(Rust、Python、TypeScript)**:BM25 检索、带偏移量的片段抽取、论断核验,以及一份带有脚注和完整追溯链的 HTML 报告 - **LLM Gateway With Fallbacks(Go)** - **Tool Call Firewall(Rust)** - **Persistent Memory Server(TypeScript、Rust)** - **Local Model Evaluation Harness(Python)**:准确率与校准度记分卡 - **PR Review Reporter**:生成 SARIF 输出,可以直接放进 CI 中 **一个项目是如何运作的** ```bash python3 scripts/project_test.py tiny-coding-agent --init my-agent python3 scripts/project_test.py tiny-coding-agent --stage 1 --path my-agent ``` 在你动手实现之前,Stage 1 会以 `not implemented yet: safe_path` 的信息失败。每个阶段至少包含五个测试,而且评分器会重新运行之前的所有阶段,因此在第 4 阶段做的修改不可能悄悄破坏第 1 阶段。 如果你想要引导,可以在 Claude Code 中使用 `/build-project <id>`(或在 Codex 中使用 build-project 技能),它会一次一个阶段地辅导你。 **当前状态** - 48 个项目已就绪,52 个在路线图上,覆盖 5 个层级(从 Starter 到 Frontier) - 196 个带评分的阶段 - Python、TypeScript、Rust 和 Go - 核心测试使用本地 fixtures,无需任何 API key - 大多数项目大约需要 8 小时;research agent 接近 20 小时 **边界与限制,以免让人感到意外** 结业证书由你本地评分器的报告自我声明,没有监考。评测分数描述的是已发布的 fixtures,而非生产环境表现。沙盒项目规划的是隔离策略,并不提供操作系统级别的隔离。 **社区项目是开放的** 复制 `projects/_template`,编写 4 到 8 个阶段、每个阶段 5 个可以离线运行的测试,然后提交一个 PR。你的名字和 GitHub 用户名会保留在项目清单中。我会以学习者的身份,从最初的几个阶段开始审阅。 **我最希望听到的两点反馈**:哪个阶段让你觉得太大或太小;以及在计划中的 52 个项目里,你希望优先构建哪一个。 - 仓库:https://github.com/rohitg00/ai-engineering-from-scratch - 项目页面:https://aiengineeringfromscratch.com/projects
查看原文

相似文章

rohitg00/ai-engineering-from-scratch

GitHub Trending (daily)

一个全面、免费、开源的人工智能工程课程,包含20个阶段的428节课程,涵盖从数学基础到使用Python、TypeScript、Rust和Julia实现的自主集群。

@suraj_sharma14:作为 AI 评测工程师,你必须完成以下这些项目。 1.)轨迹评分引擎(Trajectory Grading Engine)构建:一个步骤级别的评估器,用于……

X AI KOLs Timeline

# AI Evals 工程师必做的 15 个实战项目 一位从业者梳理了 15 个 AI Evals 工程师必建的项目,涵盖以下方向: 1. 轨迹评分(trajectory grading) 2. 影子路由(shadow routing) 3. 带校准的 LLM-as-a-Judge 4. CI/CD 回归门禁 5. 对抗性 RAG 测试 6. DPO 微调飞轮 7. 统计显著性 8. Agent 红队测试 9. 漂移监控 10. 成本-质量看板 11. 反事实回放调试(counterfactual replay debugging) 12. 合成边缘用例生成 13. 上下文窗口淘汰测试(context-window eviction tests) 14. 数据集污染检查 15. 公开评测方法论拆解(public eval methodology teardowns)

从零开始学习AI工程

Hacker News Top

一个免费的开源课程,从基本原理教授AI工程,在使用框架之前从原始数学构建算法。课程包含20个阶段的435节课,支持Python、TypeScript、Rust和Julia。