@swyx: 也请查看 https://ai.engineer/data :)
摘要
AI Engineer分享了一个数据集和MCP集成,用于AI代理,无需登录即可访问公开集合、工具和模式。
查看缓存全文
缓存时间: 2026/09/03 18:11
@htahir111 @aiDotEngineer @strickvl 也来看看这个吧:https://t.co/v0nunbVLZN :)
数据/MCP · AI工程师
来源:https://ai.engineer/data 知识库 / 数据 + MCP
数据 + MCP:为你准备的数据。为你的智能体提供的上下文。
6个公开数据集≈1560万tokensJSON + CSV格式无需登录
远程MCP接口地址
https://ai.engineer/mcp
基于HTTP流式传输 · 只读 · 无需账户或API密钥
选择你的智能体
在终端中运行
codex mcp add ai-engineer --url https://ai.engineer/mcp
设置指南与文档通过Codex CLI添加服务器后,即可启动新的智能体会话。
Codex设置文档↗ (https://developers.openai.com/codex/mcp/)已配置MCP服务器?保留现有配置,只需添加ai-engineer条目。
连接后,启用AI工程师的工具并尝试:“接下来有哪些AI工程师会议?”你的智能体会自动选择并调用工具。无需本地服务器。
通过智能体读取数据?请求/data并设置Accept: text/markdown或text/plain,或访问/data.md (https://ai.engineer/data.md)。浏览器请求保持交互视图。
研究图谱 (https://ai.engineer/data#research-atlas) 工具参考 (https://ai.engineer/data#tool-reference) 下载资源 (https://ai.engineer/data#collections-heading) 构建技能 (https://ai.engineer/data#build-skill)
研究图谱
选择知识库的特定部分,查看其工具和下载资源。
系列 → 版本 → 预定会议。已发布的演讲作为独立存档记录,与人员、组织、主题、章节和转录文本关联。连线表示关系,而非记录数量。
当前选择:已发布演讲
对于已发布演讲:搜索 → 获取·下载资源与示例↓ (https://ai.engineer/data#collection-talks)
获取工具
通过返回的ID检索记录,或获取选定演讲中带时间戳的段落。可在转录文本内搜索或请求时间范围,提供原始时刻的视频链接。
有效输入与输出
JSON Schema由服务器验证器生成。输入描述工具参数;输出描述成功的结构化内容,包括不可用数据变体。
模式
展开对象以检查字段和约束。对于可选响应,请使用变体选择器。原始JSON包含所有模式关键字。
正在加载模式浏览器…
原始JSON模式 / 复制获取输入模式
{
"$schema": "https://json-schema.org/draft/2020-12/schema",
"type": "object",
"properties": {
"id": {
"type": "string",
"maxLength": 350,
"pattern": "^(?:conference:[a-z0-9-]+\\/\\d{4}|(?:talk|speaker|topic|organization):[a-z0-9]+(?:-[a-z0-9]+)*)$",
"description": "使用搜索或list_conferences返回的ID,而非URL。"
},
"section": {
"default": "metadata",
"type": "string",
"enum": [
"metadata",
"transcript"
]
},
"query": {
"type": "string",
"minLength": 2,
"maxLength": 120,
"pattern": "^[^\\x00-\\x1f\\x7f]+$",
"description": "修剪后的搜索文本;不含控制字符。"
},
"startMs": {
"type": "integer",
"minimum": 0,
"maximum": 9007199254740991
},
"endMs": {
"type": "integer",
"minimum": 0,
"maximum": 9007199254740991
},
"offset": {
"default": 0,
"description": "传递上一个nextOffset以继续分页。",
"type": "integer",
"minimum": 0,
"maximum": 100000
},
"limit": {
"default": 3,
"type": "integer",
"minimum": 1,
"maximum": 10
},
"contentVersion": {
"type": "string",
"pattern": "^[a-f0-9]{64}$"
}
},
"required": [
"id"
],
"additionalProperties": false
}
仅required中列出的字段为必填项。additionalProperties: false拒绝未知字段。anyOf列出可选响应格式;null与省略字段不同。
id是必填项。转录文本查询、时间范围、offset和limit仅适用于演讲的section=transcript。会议ID返回会议元数据。- 同时提供两个时间戳时,
endMs必须大于startMs。此跨字段规则由服务器验证,但无法在标准JSON Schema中表达。 - 转录文本建议中逐字复制引用信息;它包含标题、格式化的段落起始时间戳和视频URL。不要计算或重写时间戳。如果引用为
null,则使用演讲页面而不编造时间戳。引用内容必须与段落文本匹配;不要将时间戳附加到元数据摘要或不受支持的因果解释中。查询的段落包含评分。null的endMs表示最后一个段落没有已知结束时间。null的引用/视频URL表示视频ID或起始时间戳无效,或起始点超出已知录制时长。未知时长无法进行范围检查。 - 分页时,将
nextOffset作为offset传递,并使用返回的contentVersion。如果内容发生变化,请在不使用contentVersion的情况下重新开始。缺失的转录文本是明确的成功变体,而非空的可用转录文本。
示例请求/响应来自公开会议数据的示例响应,不含MCP封装。字段遵循当前模式;实时数据和版本会变化。
获取输入
{
"id": "talk:harness-engineering",
"section": "transcript",
"limit": 1
}
获取输出
{
"id": "talk:harness-engineering",
"title": "驾驭工程:当人类掌舵、智能体执行时如何构建软件 — Ryan Lopopolo, OpenAI",
"url": "https://ai.engineer/talks/am_oeAoUhew-harness-engineering",
"contentVersion": "96693ee70735bdcd1f0ded798f2ddbb89cfc37ad1802e125df2c3b99621712ae",
"nextOffset": 1,
"retrievedAt": "2026-08-30T21:12:47.426Z",
"transcriptStatus": "available",
"contentType": "automated_transcript",
"passages": [
{
"startMs": 80,
"endMs": 135500,
"text": "[欢快的音乐] 我们的下一位演讲者将探讨驾驭工程:当人类掌舵、智能体执行时如何构建软件。欢迎OpenAI技术团队成员Ryan Lopopolo上台。[欢快的音乐] [观众鼓掌] 早上好,伦敦。[观众鼓掌] 我今天非常兴奋能来到这里。我是Ryan Lopopolo,在过去九个月里,我有幸完全通过智能体来构建软件。呃,我是一个代币亿万富翁,我相信,为了实现我们的AGI未来,我们希望每个人都成为代币亿万富翁,利用模型来完成全部工作。这意味着要顺应模型能够成为完整软件工程师的理念。我通过禁止团队甚至触摸编辑器、必须通过模型来完成工作来亲身实践这一理念。呃,今天我想和大家谈谈这意味着什么,以及如何将这种理念融入运营你的工作方式、你生活的编码空间和团队流程中,以便让智能体完成全部工作。我相信当我说我们构建软件的方式已经改变时,是在对知情者讲话。在过去的六个月里,我们看到编码智能体席卷世界,能力持续以前所未有的速度提升,使这些模型及其运行的框架能够执行更复杂的操作,以更高的可靠性在更长的时间范围内完成更复杂的工作。我们如今所达到的境地是,实现不再是软件工程工作稀缺的资源。",
"url": "https://www.youtube.com/watch?v=am_oeAoUhew&t=0",
"citation": "驾驭工程:当人类掌舵、智能体执行时如何构建软件 — Ryan Lopopolo, OpenAI — 0:00 (https://www.youtube.com/watch?v=am_oeAoUhew&t=0)"
}
],
"totalPassages": 26,
"downloadUrl": "https://ai.engineer/api/data/transcript?slug=harness-engineering&format=json"
}
试试问一下:“找出那段演讲中关于评估的段落,并给我带时间戳的视频链接。”
使用方法、限制与数据策略 · 全局600次/分钟 · 每IP 60次/分钟工具失败返回isError: true,并在content中提供解释,而非成功模式负载。无效参数可能返回协议错误或工具错误;在读取结构化内容前请同时检查两者。HTTP 429、529和503是传输故障,而非工具输出。
对于经过筛选的演讲查找、转录文本或日程分页,请将nextOffset作为offset传递,并使用返回的contentVersion。null的nextOffset表示结束;如果内容发生变化,请重新开始分页。
**使用限制。**MCP POST请求共享全局每分钟600次的限制,每IP每分钟60次。这包括工具调用和协议请求。共享限制返回HTTP 529;每IP限制返回HTTP 429。请遵守Retry-After并回退。需要更高限制?联系[email protected]。
**先搜索,再获取。**要获取完整的演讲者或组织清单,省略搜索查询并提供筛选条件,然后遵循分页。对于主题研究,搜索关键词并获取相关段落。搜索覆盖元数据、增强信息和索引的转录文本段落。摘要属于元数据,而非直接引用。仅转录文本摘录可通过其录制时间戳验证;对于不可用的索引,请检查覆盖范围。在得出结论前获取周围上下文。转录文本为自动生成,可能包含错误。
**公开且只读。**购票功能仍为存根;Accelevents票务系统保留在会议官方网站。CFP链接到外部平台如Sessionize。MCP无法购票、保存申请或提交CFP。经用户明确授权,智能体可在这些官方网站上使用计算机操作来完成购买或提交。在确认前请核实最终价格或申请内容(除非已批准),并验证平台确认信息。
下载与更新。aie://data/catalog资源链接到以下公开数据集。经过筛选的查找、转录文本和日程分页返回内容版本,以便智能体检测更新。受限的Hugging Face仓库是分开的,未通过MCP公开。
授权公开语料库:1,087场演讲 · 170,944个转录文本段
语料库版本575e4c565354bf07b7d567ab08376f4176910a799bf0ef29ed41868192e0dc24源更新未记录录制日期2026-09-03T10:03:35.969Z有转录文本的演讲1087 / 1087语料库计数不包括合并到以下数据集中的其他网站记录。转录文本可用性不代表完整性或准确性。未知日期不会从发布授权中推断。状态检查可能使用缓存五分钟的元数据。
公开数据集
演讲
1,087行· ≈377.9K tokens
演讲库中的标题、演讲者、主题、录制和摘要。
字段与示例行slug · 标题 · URL · 视频ID · 活动 · 时长毫秒 · 演讲者 · 主题 · 摘要
[
{
"slug": "agent-skills",
"title": "不要构建智能体,要构建技能 – Barry Zhang & Mahesh Murag, Anthropic",
"url": "https://ai.engineer/talks/CEvIs9y1uog-agent-skills",
"videoId": "CEvIs9y1uog",
"event": "AI Engineer Code 2025",
"durationMs": 982000,
"speakers": [
{
"name": "Barry Zhang"
},
{
"name": "Mahesh Murag"
}
],
"topics": [
{
"slug": "coding-agents",
"name": "编码智能体"
}
],
"summary": "Barry Zhang 和 Mahesh Murag(Anthropic)认为,开发者不应构建特定领域的智能体,而应构建可复用的技能——将过程知识打包供智能体使用的、组织化的文件夹。他们解释说,技能通过渐进式披露来保护上下文窗口,使用脚本作为自文档化工具,并且在五周内已增长到数千个,包括基础技能、合作伙伴技能和企业技能。技能通过提供专业知识与MCP服务器互补,而MCP处理连接性。未来包括像软件一样对待技能(进行测试和版本控制),并使智能体能够创建自己的技能以进行持续学习,最终创建一个集体知识库,使智能体更强大、更可靠。"
},
{
"slug": "ai-coding-workflow",
"title": "AI编码工作流:从产品创意到经过测试的实现",
"url": "https://ai.engineer/talks/-QFHIoCo-Ko-ai-coding-workflow",
"videoId": "-QFHIoCo-Ko",
"event": "AI Engineer Europe 2026",
"durationMs": 5790000,
"speakers": [
{
"name": "Matt Pocock"
}
],
"topics": [
{
"slug": "coding-agents",
"name": "编码智能体"
}
],
"summary": "Matt Pocock 进行了一个构建完整AI辅助编码工作流的实践研讨会,他认为软件工程基础——而非炒作——才是让智能体有效的关键。他介绍了大语言模型的“智能区”和“笨区”(性能在约10万tokens后下降)以及“Memento问题”(智能体会话间遗忘)。他的流程从一个“审问我”技能开始,该技能会无情地质询用户直至达成共识,然后不阅读就生成产品需求文档,将工作切分为垂直的“示踪弹”问题,并使用测试驱动开发在离线状态运行智能体。他倡导设计具有深度、可测试模块的代码库,并展示了Sandcastle——一个用于并行智能体执行的TypeScript库,包含独立的实现者(Sonnet)和审查者(Opus)。该研讨会将模糊的需求简报转化为可交付的功能,同时保持人类参与质量保证和品味判断。"
}
]
演讲者
1,068行· ≈285.9K tokens
演讲者个人资料、简介、所属机构及其会议演讲。
字段与示例行slug · 姓名 · URL · 简介 · 职位 · 所属机构 · 肖像URL · 个人资料链接 · 所属机构列表 · 主题 · 演讲slug
[
{
"slug": "swyx",
"name": "swyx",
"url": "https://ai.engineer/speakers/swyx",
"biography": null,
"jobTitle": "策展人",
"organization": "AI Engineer",
"portraitUrl": "https://ai.engineer/wf26/speakers/by-id/spk_shawn_wang.jpg",
"profiles": {
"website": null,
"github": null,
"linkedin": null,
"x": null
},
"affiliations": [
{
"organization": "AI Engineer",
"eventSlug": "ai-engineer-europe-2026",
"eventYear": 2026
},
{
"organization": "AI Engineer",
"eventSlug": "ai-engineer-world-s-fair-2026",
"eventYear": 2026
},
{
"organization": "AI Engineer",
"eventSlug": "ai-engineer-code-2025",
"eventYear": 2025
},
{
"organization": "Latent.Space",
"eventSlug": "ai-engineer-world-s-fair-2025",
"eventYear": 2025
},
{
"organization": "Latent.Space",
"eventSlug": "ai-engineer-summit-2025",
"eventYear": 2025
},
{
"organization": "Latent.Space",
"eventSlug": "ai-engineer-world-s-fair-2024",
"eventYear": 2024
},
{
"organization": "Latent.Space",
"eventSlug": "ai-engineer-summit-2023",
"eventYear": 2023
}
],
"topics": [
{
"slug": "agent-engineering",
"name": "智能体工程"
},
{
"slug": "apis-mcp-and-protocols",
"name": "API、MCP和协议"
},
{
"slug": "architecture",
"name": "架构"
},
{
"slug": "coding-and-developer-tools",
"name": "编码和开发者工具"
},
{
"slug": "data-and-model-adaptation",
"name": "数据与模型适配"
},
{
"slug": "enterprise",
"name": "企业"
},
{
"slug": "finance",
"name": "金融"
},
{
"slug": "infrastructure-and-deployment",
"name": "基础设施与部署"
},
{
"slug": "leadership",
"name": "领导力"
}
]
}
]
相似文章
@mdancho84: 面向AI工程师的93个项目。MCP、Agents和RAG(免费):
由Matt Dancho分享的涵盖MCP、Agents和RAG的93个免费AI工程师项目精选列表。
@adxtyahq: 好列表。我会补充:- 数据集工程 - https://huyenchip.com/machine-learning-systems-design/toc.html… - 产品评…
一条推文串,整理了AI工程的核心资源,涵盖数据集工程、评估、上下文工程、智能体记忆、MCP、可观测性、推理优化和安全性。
owainlewis/awesome-artificial-intelligence
一份精心整理的、用于构建和交付AI系统的必用且积极维护的资源合集,涵盖AI工程主题,如RAG、智能体、评估、护栏和部署,以及推荐的书籍、课程和里程碑式论文。
@pauliusztin_: 我们刚刚开源了完整的 @aiDotEngineer 研讨会!你可以克隆它并自行运行所有内容... → https://github…
一个开源研讨会仓库,用于构建真实世界的多智能体 AI 系统,包括深度研究智能体和 LinkedIn 写作工作流,使用 MCP 服务器、Pydantic 结构化输出以及带有 Claude Code 子智能体的智能体工程。
@kentcdodds:MCP
Tyler Benfield 讨论了 MCP 在让 AI 代理访问数据方面的酷炫之处,分享了他使用 Claude 例程进行基础设施监控和改进的用例。