FOSS NotebookLM 连接到 Reddit、YT、Google、IG、Tiktok 等平台
摘要
SurfSense 是一个面向 AI 智能体的开源竞争情报平台,提供实时抓取连接器,支持 Reddit、YouTube、Instagram、TikTok、Google Maps、Google 搜索等,并配有 REST API 和 MCP 服务器。
查看缓存全文
缓存时间: 2026/07/14 08:18
MODSetter/SurfSense 来源:https://github.com/MODSetter/SurfSense English | Español | Português | हिन्दी | 简体中文 # SurfSense:面向竞争情报研究的 NotebookLM
SurfSense 是面向 AI 智能体的开源竞争情报平台,类似于 NotebookLM,但配备了实时抓取连接器。您的智能体通过 Reddit、YouTube、Instagram、TikTok、Google Maps、Google Search 和开放网络 的实时数据,借助统一的 REST API 或 MCP 服务器,监控竞争对手、追踪排名并倾听市场动态。基于计划或事件触发的智能体将收集到的信息转化为简报和警报,内置知识库可将每条发现保存为可搜索且附带引用的内容。
📢 致使用我们作为 NotebookLM 替代品的用户
过去几个月里,我们将 SurfSense 打造为最佳的个人知识通用研究智能体,这个阶段为我们赢得了一个我们引以为傲的社区。如今,像 Claude、OpenCode、Hermes 和 OpenClaw 这类智能体工具已经证明智能体是未来,通用研究正成为每个有能力的智能体默认具备的能力。智能体仍然缺少的是实时市场数据及其相关的工作流程,因此我们将全部精力聚焦于此:成为定义级的开源竞争情报智能体平台。
您所依赖的功能不会消失。 您的知识库、附带引用的聊天、报告、播客、演示文稿、自动化功能以及协作聊天都将持续工作,自托管版本仍保持免费开源。请在我们的更新日志 (https://www.surfsense.com/changelog) 中阅读完整公告。
目录
为什么智能体需要 SurfSense
让任何有能力的智能体询问“这周竞争对手的定价是多少?”或“自从发布以来 Reddit 上对我们有什么评价?”,它都没有可靠的信息来源。官方平台 API 存在速率限制、面向企业高价收费或完全缺失,而抓取管道极易出错。SurfSense 填补了这一空白:
- 平台原生连接器:每个连接器都是类型化的 REST 端点,返回结构化 JSON。无需担心速率限制,也无需解析 HTML。
- MCP 服务器:将每个连接器作为原生工具暴露给 Claude、Cursor 或任何智能体框架(如
surfsense_reddit_scrape、surfsense_google_search等)。 - 智能体框架:不仅仅是原始数据,内置了重试机制、结构化输出和信用计量,使智能体无需您构建管道即可从问题直达简报。
- 开源且可自托管,确保您的竞争研究始终停留在您自己的基础设施上。
您可以用 SurfSense 做什么?
以下每个用例都是 SurfSense 智能体现在能够端到端运行的真实任务,只需一个提示或按计划执行。
多连接器工作流
在单个智能体运行中串联多个连接器,获取一份附带引用的综合简报。
- 跨平台发布影响评估——“我们的竞争对手昨天发布了 v2 版本。衡量搜索、Reddit 和 YouTube 上的反应。”智能体抓取 SERP 页面、Reddit 讨论串和 YouTube 评论,然后将这三个信号合并成一份发布影响简报。
- 本地竞争对手拆解——Google Maps 找出玩家,网络爬虫读取他们的定价页面,Google Search 显示谁在查询中胜出,全部在一个运行中完成。
- 定时竞争对手360度分析——一个自动化功能每周串联四个连接器:网站变更、排名变化、Reddit 情感分析和 YouTube 反应。
竞争对手监控
- 定价监控——将竞争对手定价页面上的每个套餐、价格和限制提取成一张表格,然后每天重新检查,一旦有任何变化立即警报。
- 产品与更新日志追踪——每周一爬取对手的更新日志、产品和招聘页面,获取关于他们发布内容的简报。
- 排名与广告监控——追踪您市场实际看到的 Google 排名、付费广告和 AI 概览引用,并标记逐日变化。
B2B 线索生成
- 本地商业线索——将类别和地区(如“圣何塞的汉堡店”)转化为包含电话、网站、评分和从他们网站获取的决策者联系信息的线索列表。
- 团队名册与联系人——爬取任何公司网站,拉取完整团队信息(邮箱、社交媒体、来源),导出为 CSV。
- 投资组合与市场地图——绘制投资者投资组合或整个类别的图谱,然后丰富每家公司信息(定价、联系方式)。
品牌与市场监听
- Reddit 品牌监控——在买家坦诚讨论的讨论串中,倾听市场对您、竞争对手及整个品类的评价。
- YouTube 受众情感分析——大规模拉取视频、文字记录和评论,然后聚类分析受众赞扬和抱怨的内容。
- 转换者与意图挖掘——找到那些正在积极寻找竞争对手替代品的用户,按其转换意愿排序。
市场研究
- 基于实时网络的深度研究——智能体针对一个问题爬取数十个实时来源,综合给出附带引用的答案,而非基于过时索引。
- AI 概览与 GEO 追踪——捕捉 Google AI 概览如何回答您市场的查询,以及它们具体引用哪些来源。
- 附带引用的简报与警报——智能体收集的所有内容都会以附带可核实来源的简报和警报形式出现在您的工作空间中。
无需代码即可自动化任意任务
自动化功能可以根据计划或响应事件来运行完整的智能体流程,然后将结果写回 Notion、Slack、Linear 和 Jira。用纯英文描述工作流,SurfSense 会自动构建。尝试以下提示:
- “监控我们前三大竞争对手的定价页面,当套餐或价格发生变化时通过 Slack 提醒我。”
- “追踪 Reddit 和 YouTube 上对我们品牌的每一条提及,每天发送一次摘要给我。”
- “监控我们前10个关键词的 Google 排名,标记逐周下降的情况。”
- “每周一拉取我们和竞争对手位置的新 Google Maps 评论。”
- “每月运行一次竞争对手分析报告并保存到我的工作空间。”
实时数据连接器
| 连接器 | 您的智能体获取的内容 | 了解更多 |
|---|---|---|
| 帖子、评论以及子版块流,无官方 API 速率限制 | Reddit Scraper API (https://www.surfsense.com/reddit) | |
| YouTube | 视频、文字记录和评论讨论串,用于品牌和产品监听 | YouTube Scraper API (https://www.surfsense.com/youtube) |
| 公开资料、帖子和 Reels,无需 Graph API | Instagram Scraper API (https://www.surfsense.com/instagram) | |
| TikTok | 视频、评论、话题标签和资料,无需 Research API 批准 | TikTok Scraper API (https://www.surfsense.com/tiktok) |
| Google Maps | 地点、评分和评论,用于本地竞争对手和线索研究 | Google Maps Scraper API (https://www.surfsense.com/google-maps) |
| Google Search | 实时 SERP 页面,用于排名追踪和市场监控 | Google Search API (https://www.surfsense.com/google-search) |
| 网络爬虫 | 开放网络上的任何页面,转化为干净、结构化内容 | Web Crawling API (https://www.surfsense.com/web-crawl) |
| 外部 MCP 连接器 | 为您的智能体引入任何 MCP 服务器,一键 OAuth 集成 Notion、Slack、Jira 等 | External MCP Connectors (https://www.surfsense.com/external-mcp-connectors) |
计费方式为按量付费:连接器按实际返回的项目计费,爬虫按成功获取的页面计费,失败的调用从不计费。自托管安装默认关闭计费。请参阅定价页面 (https://www.surfsense.com/pricing)。
快速开始
从代码调用连接器
每个连接器都是 REST 端点,您可以使用任何语言配合 SurfSense API 密钥调用:
curl -X POST "$SURFSENSE_API_URL/workspaces/$WORKSPACE_ID/scrapers/reddit/scrape" \
-H "Authorization: Bearer $SURFSENSE_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"search_queries": ["your brand"],
"community": "webscraping",
"sort": "top",
"time_filter": "week"
}'
每个连接器页面 (https://www.surfsense.com/connectors) 都提供了 Python、JavaScript、Go、PHP、Ruby、Java 和 C# 的复制粘贴示例。
通过 MCP 将工具提供给您的智能体
将 SurfSense MCP 服务器添加到 Claude、Cursor 或您自己的智能体框架中:
{
"mcpServers": {
"surfsense": {
"url": "https://mcp.surfsense.com/mcp",
"headers": {
"Authorization": "Bearer ${SURFSENSE_API_KEY}"
}
}
}
}
您的智能体现在可以将每个连接器作为原生工具调用。请参阅 SurfSense MCP 服务器页面 (https://www.surfsense.com/mcp-server) 了解完整工具列表,或者从 surfsense_mcp 在本地运行服务器。
使用云端
访问 surfsense.com (https://www.surfsense.com),登录,然后用纯英文向智能体询问实时市场数据。新账户免费获得 $5 信用额度,无需订阅。
免费自托管
在您自己的基础设施上运行整个平台,包括连接器、智能体、自动化和 MCP 服务器。自托管安装默认关闭计费,因此抓取、爬虫和智能体运行仅受限于您的硬件和您提供的大模型密钥。
前置条件: 必须安装并运行 Docker Desktop (https://www.docker.com/products/docker-desktop/)。
对于 Linux/macOS:
curl -fsSL https://raw.githubusercontent.com/MODSetter/SurfSense/main/docker/scripts/install.sh | bash
对于 Windows:
irm https://raw.githubusercontent.com/MODSetter/SurfSense/main/docker/scripts/install.ps1 | iex
安装脚本会自动设置 Watchtower (https://github.com/nicholas-fedor/watchtower) 以实现每日自动更新。若要跳过,请添加 --no-watchtower 标志。
关于 Docker Compose、手动安装和其他部署选项,请参阅文档 (https://www.surfsense.com/docs/)。
工具箱中其他内容
使 SurfSense 成为领先开源 NotebookLM 替代品的研究工作空间仍然存在,您的智能体收集的所有内容都会存入其中。
知识库
- 上传 PDF、Office 文档、图片和音频,或同步 Google Drive、OneDrive 和 Dropbox。支持 50 多种文件格式。
- 混合语义和全文搜索,提供附带引用的 Perplexity 风格答案。
- AI 文件排序可根据来源、日期和主题自动组织文档。
交付物工作室
- AI 报告生成器,支持导出为 PDF、DOCX、HTML、LaTeX、EPUB、ODT 或纯文本。
- 双人 AI 播客,从任何文档或文件夹生成,时长不超过 20 秒。
- 可编辑的幻灯片,带旁白的视频概览,以及 AI 图像生成。
团队协作
- 实时协作 AI 聊天,支持评论和提及功能。
- 基于 RBAC 的角色:所有者、管理员、编辑者和查看者。
桌面应用 在您电脑上的每个应用程序中提供原生 AI 辅助。从最新发布版本 (https://github.com/MODSetter/SurfSense/releases/latest) 下载。
- 通用辅助:通过全局快捷键从任何应用启动 SurfSense。
- 快速辅助:在任何地方选中文本,然后让 AI 解释、改写或执行操作。
- 截图辅助:捕获屏幕任意区域并询问 AI。
- 监控本地文件夹:自动将本地文件夹同步到知识库。指向您的 Obsidian 仓库以保持笔记可搜索。
无供应商锁定
- 通过 OpenAI 规范和 LiteLLM 支持 100 多种大语言模型,包括 GPT-5.5、Claude Sonnet 5 和 Gemini 3.1 Pro。
- 支持 6000+ 嵌入模型和所有主流重排序模型。
- 完全支持本地和私有大语言模型(vLLM、Ollama),确保您的数据归您所有。
视频智能体示例
https://github.com/user-attachments/assets/012a7ffa-6f76-4f06-9dda-7632b470057a
播客智能体示例
https://github.com/user-attachments/assets/a0a16566-6967-4374-ac51-9b3e07fbecd7
如何实时协作(Beta)
- 进入管理成员页面并创建邀请链接。
- 队友加入后,该工作空间变为共享状态。
- 将聊天设为共享,然后实时协作,通过评论标记队友。
SurfSense vs Google NotebookLM
仍然将我们与 NotebookLM 对比?以下是诚实的对比表。
| 功能 | Google NotebookLM | SurfSense |
|---|---|---|
| 面向智能体的实时市场数据 | 否 | Reddit、YouTube、Instagram、TikTok、Google Maps、Google Search 和网络爬虫连接器,通过 REST API 和 MCP 提供 |
| MCP 服务器 | 否 | 每个连接器作为原生智能体工具暴露,同时支持自带 MCP 服务器,一键 OAuth 应用 |
| 每个笔记本的来源数 | 50(免费版)到 600(Ultra 版,$249.99/月) | 无限制 |
| 笔记本数量 | 100(免费版)到 500(付费版) | 无限制 |
| 来源大小限制 | 每个来源 500,000 词 / 200MB | 无限制 |
| 定价 | 免费版;Pro $19.99/月,Ultra $249.99/月 | 自托管免费开源;云端按量付费,赠送 $5 免费信用 |
| 大语言模型支持 | 仅 Google Gemini | 100+ 大语言模型,通过 OpenAI 规范 & LiteLLM |
| 嵌入模型 | 仅 Google | 6000+ 嵌入模型,所有主流重排序模型 |
| 本地/私有大语言模型 | 不支持 | 完全支持(vLLM、Ollama),您的数据归您所有 |
| 可自托管 | 否 | 是,Docker 一键部署或完整 Docker Compose |
| 开源 | 否 | 是 |
| 知识库来源 | Google Drive、YouTube、网站 | 文件上传、Google Drive、OneDrive、Dropbox、本地文件夹同步、爬取的页面 |
| 文件格式支持 | PDF、文档、演示文稿、表格、CSV、Word、EPUB、图片、网页 URL、YouTube | 50 多种格式:文档、图片、视频,通过 LlamaCloud、Unstructured 或 Docling(本地) |
| 搜索 | 语义搜索 | 混合语义 + 全文,支持分层索引和倒数排名融合 |
| 附带引用的答案 | 是 | 是,Perplexity 风格的引用回复 |
| 智能体架构 | 否 | 是,基于 LangChain Deep Agents (https://docs.langchain.com/oss/python/deepagents/overview) ,具备规划、子智能体和文件系统访问能力 |
| AI 自动化与智能体 | 否 | 定时工作流、事件触发、通过聊天构建的无代码自动化,支持写回 Notion、Slack、Linear 和 Jira |
| 实时多人协作 | 共享笔记本,支持查看者/编辑者角色(无实时聊天) | RBAC 角色:所有者/管理员/编辑者/查看者,实时聊天和评论线程 |
| 视频生成 | 通过 Veo 3 生成电影式视频概览(仅 Ultra 版) | 可用(NotebookLM 在此项更优,正在积极改进) |
| 演示文稿生成 | 更好的幻灯片外观但不可编辑 | 可编辑的基于幻灯片的演示文稿 |
| 播客生成 | 音频概览,支持可定制主持人和语言 | 可用,支持多种 TTS 提供商(NotebookLM 在此项更优,正在积极改进) |
| 桌面应用 | 否 | 原生应用,提供通用辅助、快速辅助、截图辅助和本地文件夹同步 |
功能请求与未来
SurfSense 正在积极开发中。 虽然尚未达到生产就绪状态,但您可以帮助我们加快进程。加入 SurfSense Discord (https://discord.gg/ejRNvftDp9) ,共同塑造 SurfSense 的未来!
路线图
随时了解我们的开发进展和即将推出的功能。查看我们的公开路线图,贡献您的想法或反馈:
路线图讨论: SurfSense 2026 路线图 (https://github.com/MODSetter/SurfSense/discussions/565)
看板面板: SurfSense 项目面板 (https://github.com/users/MODSetter/projects/3)
贡献
欢迎所有贡献,从加星和错误报告到后端改进。请参阅 CONTRIBUTING.md 开始。感谢所有 Surfers:
Star 历史
相似文章
无数据上限的 FOSS NotebookLM
SurfSense 是一款开源、注重隐私的 Google NotebookLM 替代方案,取消数据上限与供应商锁定,支持实时多人协作,并集成 25+ 外部数据源。
@sharbel: 有人构建了一个AI代理,可并行搜索Reddit、X、YouTube、HN、TikTok、Polymarket及网络。评分每……
/last30days 是一个开源AI代理,可并行搜索多个平台(Reddit、X、YouTube 等),根据参与度对内容进行评分,并综合生成简短摘要。它采用 MIT 许可证,可自托管,且免费。
@sharbel: 有人构建了一个单一CLI,可读取Twitter、Reddit、YouTube、GitHub、Bilibili和小红书。零API费用。零…
Agent Reach 是一个单一CLI工具,让AI代理无需API密钥或费用即可即时访问Twitter、Reddit、YouTube、GitHub、Bilibili和小红书。它100%开源,兼容多种代理框架。
@Anubhavhing: 这帮人到底在搞什么鬼?有人在 Reddit 上发布了一个名为 Osiris 的开源版 Palantir。实时追踪……
一个名为 Osiris 的开源 OSINT 平台已发布,具备飞机、卫星、闭路电视摄像头的实时追踪功能,并内置 Nmap 和 DNS 查询等 OSINT 工具,全部集成在一个 3D 交互式地球仪上。
@DIYgod:Twitter 是一个算法在决定你认为什么重要。新闻通讯堆积未读。YouTube 推荐被优化…
Folo 是由 @DIYgod 构建的 AI 原生 RSS 客户端,在 GitHub 上有 38,400 颗星,旨在以现代智能界面复兴 RSS。