Launch HN: Screenpipe (YC S26) – 记录你的工作过程，并将其转化为智能代理

Hacker News Top 产品
screen-recording ai-agents memory productivity local-first yc

摘要

Screenpipe 在本地记录你的屏幕和音频，为 AI 代理提供关于你工作活动的可搜索记忆，从而能够自动执行重复性任务并创建标准操作流程。

Hi Hacker News，我是 Louis。我构建了 Screenpipe（<a href="https://screenpipe.com">https://screenpipe.com</a>），这是一款应用，可以在本地（仅本地！）记录你的屏幕和音频，并为 AI 代理提供关于你所见、所说和所听内容的可搜索记忆。这让你更容易自动执行重复性任务，将其转化为标准操作流程（SOP）等。<p>我制作了一个 HN 风格的演示视频，地址是 <a href="https://www.tella.tv/video/build-your-ai-second-brain-with-screenpipe-e1j7" rel="nofollow">https://www.tella.tv/video/build-your-ai-second-brain-with-s...</a>，还有一个营销视频在 <a href="https://www.youtube.com/watch?v=c1jV6E9pyug" rel="nofollow">https://www.youtube.com/watch?v=c1jV6E9pyug</a>。<p>我对此已经痴迷很久了。自 2020 年以来，我一直在维护一个“第二大脑”，其中存储日记、手写笔记、我听的音乐、正在进行的项目、与他人的对话、个人 CRM 等。早期我用 ParlAI 做了大量 RAG 实验，以及数百个微调的 GPT2 模型和 GPT3（<a href="https://forum.obsidian.md/t/fine-tuning-openai-api-gpt3-on-your-second-brain-obsidian/21849/4" rel="nofollow">https://forum.obsidian.md/t/fine-tuning-openai-api-gpt3-on-y...</a>）。后来我构建了 Ava，这是 Obsidian 的第一个 AI 插件，迅速发展到数千用户。它后来变成了 Embedbase，一个用于简化基于 RAG 的 AI 应用构建的 API。<p>从这些经历中，我意识到让模型了解你在电脑上的操作上下文有多重要，这样才能让它们按你的意愿行事。<p>早期有微调，但那太痛苦了；后来有了工具调用，AI 可以访问你使用的软件，但仍然不够自主，需要大量微观管理。接着 MCP 出现了，但它感觉太静态了，非技术用户难以构建和使用。然后我们有了技能。最近我们看到了 Karpathy 的 LLM 维护的 wiki、Garry 的 GBrain 等，其中代理增量维护一个持续的 Markdown 页面集合。新来源更新实体页面，强化或反驳现有主张，并随时间推移改进综合内容。我喜欢这种模式，但它仍然需要有人选择和导入来源。AI 仍然无法了解你和你公司每天在做什么，跨应用，而不仅仅是在应用内部。<p>当然，并不是每个人都想要这个。但我想要！我希望 AI 了解我在做什么，再也不会丢失记忆，并且我希望 AI 使用与人类相同的软件，避免痛苦的上下文切换。<p>我在 2024 年开始为自己构建 Screenpipe——一个命令行工具，用于记录屏幕并将这些上下文提供给 AI。一位 HN 用户在 2024 年发布了它（<a href="https://news.ycombinator.com/item?id=41695840">https://news.ycombinator.com/item?id=41695840</a>），那次讨论影响了产品。最有用的批评涉及记录同意、本地安全、CPU 使用率、信噪比以及代理能否基于数据执行操作。<p>最初的实现是连续录制视频并对每一帧运行 OCR。但这会产生重复数据，消耗大量资源（基本上让你的电脑变成一台“暖炉”！），并且丢弃了操作系统已知的结构。现在 Screenpipe 改为监听事件，例如应用切换、点击、打字暂停、滚动和空闲回退。当有意义的变化发生时，它会将截图与操作系统在同一时间戳的无障碍树配对。当无法获取结构化的无障碍数据时，会使用 OCR。我们还持续捕获音频，通过 Parakeet/Whisper 或使用云端模型在本地识别说话者和转录。<p>所有内容都索引到本地 SQLite 数据库、mp4 文件中，有时也包括 md 文件。端口 3030 上开放了一个面向 AI 的 API，供代理使用，包含认证以及 MCP 和技能。<p>在 Screenpipe 运行一段时间后，你可以通过内置聊天、Claude、ChatGPT、Hermes、Openclaw 或任何代理来使用它，执行如下操作：<p>- 为当前聊天添加上下文，例如“收集关于任务 X 的所有上下文”，然后需要更少的提示即可达到目标<p>- 检索信息，例如“检索我从早上 8 点到下午 4 点正在处理的任务，列出已完成和未完成的内容”<p>- 创建并维护一个个人 wiki / 第二大脑给你的代理：“每小时一次，将我所做的一切组织成项目、人员、任务、会议，保存到我的 Obsidian 仓库中，作为 markdown 文件和文件夹”<p>- 创建自动化：每当我访问某人的 LinkedIn 个人资料时，更新我的 CRM<p>- 发现自动化机会：查看我团队本周所做的所有事情，并转化为一系列自动化机会<p>Screenpipe 的数据存储在本地，不过我们也提供企业版计划来发现自动化机会，对于该计划，数据存储位置由企业决定。我们建立了自己的 AI PII 模型来屏蔽敏感信息，它在本地运行，支持 Apple MLX 或 Windows DirectML，我们也为低端设备提供云机密推理支持，尽管我们的本地模型设计为 CPU 占用 <1%，内存占用 <400 MB。用户可以设置要过滤的应用、窗口和 URL，此外还有浏览器的隐身模式。<p>我们还支持录制计划和其他隐私功能。<p>我们的大部分代码库使用 Rust、MLX、Onnx 编写，对于 Apple API 我们喜欢使用 cidre 或直接 C 调用，对于 Windows API 使用 windows-rs。我们还实验性地支持 Linux。<p>我们有一个桌面应用（<a href="https://screenpipe.com/how-to-install">https://screenpipe.com/how-to-install</a>）和一个命令行工具：<p><pre><code> npx screenpipe record </code></pre> 你可以无需创建账户就直接运行。所有代码在 <a href="https://github.com/screenpipe/screenpipe" rel="nofollow">https://github.com/screenpipe/screenpipe</a> 上以源码可用形式发布。我们迈出了令人担忧的一步，制定了我们自己的 Screenpipe 商业许可证。我知道 HN 强烈偏好 OSI 开源（MIT/Apache 等），但我找不到一种可持续的方式来继续开发 Screenpipe，同时让商业用户免费使用。因此，现在个人非商业、非营利、教育和研究用途免费，但商业用途需要许可证。<p>在许可证变更之前发布的版本仍然在 MIT 下可用。我们有免费套餐，以及其他计划，包括帮助企业发现自动化机会的企业版。<p>欢迎提供任何反馈、你用 Screenpipe 做了什么，或者你希望拥有的功能。
查看原文
查看缓存全文

缓存时间: 2026/07/24 05:01

# 发布 HN：Screenpipe（YC S26）——记录你的工作方式并转化为智能代理 来源：https://news.ycombinator.com/item?id=49024620 https://news.ycombinator.com/vote?id=49024620&how=up&goto=item%3Fid%3D49024620发布 HN：Screenpipe \(YC S26\) – 记录你的工作方式并转化为智能代理 (https://news.ycombinator.com/item?id=49024620)65 分 bylouis030195 (https://news.ycombinator.com/user?id=louis030195)12 小时前 (https://news.ycombinator.com/item?id=49024620)|隐藏 (https://news.ycombinator.com/hide?id=49024620&goto=item%3Fid%3D49024620)|历史 (https://hn.algolia.com/?query=Launch%20HN%3A%20Screenpipe%20%28YC%20S26%29%20%E2%80%93%20Record%20how%20you%20work%20and%20turn%20that%20into%20agents&type=story&dateRange=all&sort=byDate&storyText=false&prefix&page=0)|收藏 (https://news.ycombinator.com/fave?id=49024620&auth=8a2e361e0a36e98a4421b804a5f854c7ac0917ba)|51 条评论 (https://news.ycombinator.com/item?id=49024620) 嗨，Hacker News，我是 Louis。我构建了 Screenpipe (https://screenpipe.com/)，一个本地记录屏幕和音频（仅限本地！）的应用，并为 AI 智能代理提供了你看到、说到和听到的内容的可搜索记忆。这使得自动化重复性任务、将其转化为标准操作程序（SOP）等变得更加容易。 我制作了一个 HN 风格的演示视频，地址是 https://www.tella.tv/video/build-your-ai-second-brain-with-screenpipe-e1j7，还有一个营销视频在 https://www.youtube.com/watch?v=c1jV6E9pyug。 我对此已经痴迷了很久。自 2020 年以来，我一直在维护一个“第二大脑”，其中存储着日记、手写笔记、我听过的音乐、我参与的项目、我与人的对话、个人 CRM 等。早期我使用 ParlAI、数百个微调的 GPT2 模型以及 GPT3 (https://forum.obsidian.md/t/fine-tuning-openai-api-gpt3-on-your-second-brain-obsidian/21849/4) 进行了大量的 RAG 实验。后来我构建了 Ava，第一个 Obsidian AI 插件，用户数迅速增长到数千。随后它演变为 Embedbase，一个用于更轻松构建基于 RAG 的 AI 应用的 API。 我从这一切中学到的是，模型若要按你的意愿行动，了解你在电脑上做什么的上下文是多么重要。 早期有微调，但太痛苦；然后是工具调用，让 AI 能够访问你使用的软件，但仍不够自主，需要微观管理。接着 MCP 出现了，但感觉太静态，非技术用户很难构建和使用 MCP。后来我们有了技能。最近我们看到 Karpathy 的 LLM 维护的 wiki、Garry 的 GBrain 等，智能代理逐步维护一个持久的 Markdown 页面集合。新的来源会更新实体页面，强化或反驳现有主张，并随时间推移改善综合效果。我喜欢这种模式，但它仍然需要有人选择并导入来源。AI 仍然无法知道你和你公司每天跨应用在做些什么（不仅仅是应用内部）。 当然，不是每个人都想要这样。但我想要！我希望 AI 知道我在做什么，永不丢失记忆，我希望它使用和人一样的软件，避免痛苦的情境切换。 我在 2024 年开始为自己构建 Screenpipe——一个 CLI 工具，用于录制屏幕并将这些上下文输入 AI。一位 HN 用户在 2024 年发布了它 (https://news.ycombinator.com/item?id=41695840)，那次讨论影响了产品。最有用的批评涉及录制同意、本地安全、CPU 使用率、信噪比，以及智能代理是否能在数据之上采取行动。 最初的实现是从持续录制视频并对每一帧运行 OCR 开始的。但这会产生重复数据，消耗大量资源（基本上把你的电脑变成空间加热器！），并且丢弃了操作系统已经知道的结构。Screenpipe 现在监听应用切换、点击、打字暂停、滚动和空闲回退等事件。当有有意义的变化发生时，它会将截图与同一时间戳的操作系统无障碍树配对。当结构化无障碍数据不可用时，使用 OCR。我们还持续捕获音频，识别说话者，并通过 Parakeet/Whisper 在本地转录音频，或使用云端模型。 所有内容都被索引到本地的 SQLite 数据库、mp4 文件，有时是 md 文件中。在端口 3030 上开放了一个 AI 友好的 API，供智能代理使用，带有认证、MCP 和技能。 一旦 Screenpipe 运行一段时间，你可以通过我们内置的聊天、Claude、ChatGPT、Hermes、Openclaw 或任何智能代理来使用它，执行以下操作： - 为当前聊天添加上下文，例如“收集关于任务 X 的所有上下文”，然后需要更少的提示即可达成目标 - 检索信息，例如“检索我从上午 8 点到下午 4 点处理的任务，列出已完成和未完成的内容” - 为你的智能代理创建和维护个人维基/第二大脑：“每小时将我所有的项目、人员、任务、会议以 Markdown 文件和文件夹的形式整理到我的 Obsidian 仓库中” - 创建自动化：当我访问 LinkedIn 上某人的个人资料时，更新我的 CRM - 发现自动化机会：查看我的团队本周完成的所有工作，并将其转化为自动化机会列表 Screenpipe 数据存储在本地，虽然我们也提供企业版以发现自动化机会，届时由公司决定数据存放位置。我们构建了自己的 AI PII 模型来编辑敏感信息，它在 Apple MLX 或 Windows DirectML 上本地运行。我们也为低端设备支持云端机密推理，不过我们的本地模型旨在使用 <1% 的 CPU 和 <400 MB 的 RAM。用户除了浏览器隐私模式外，还可以设置要过滤的应用、窗口和 URL。 我们还支持录制计划和其他隐私功能。 我们大部分的代码库是用 Rust、MLX、Onnx 编写的，我们喜欢使用 cidre 或直接调用 C 语言来操作 Apple API，并使用 windows-rs 来操作 Windows API。我们还实验性地支持 Linux。 我们有一个桌面应用 (https://screenpipe.com/how-to-install) 和一个 CLI： `` npx screenpipe record `` 你可以无需创建账号就运行它。所有代码在 https://github.com/screenpipe/screenpipe 上开源（源代码可用）。我们迈出了令人畏惧的一步，制定了我们自己的 Screenpipe 商业许可。我知道 HN 强烈偏好 OSI 开源许可（MIT/Apache 等），但在公司免费商业使用 Screenpipe 的情况下，我找不到可持续开发 Screenpipe 的方式。因此，现在个人非商业、非营利、教育和研究使用是免费的，但商业使用需要许可。 许可证变更前发布的版本仍以 MIT 许可提供。我们有免费层级和其他方案，包括帮助公司发现自动化机会的企业版。 非常希望听到任何反馈、你用 Screenpipe 做过的事情，或者你希望的功能 帮助 (https://news.ycombinator.com/formatdoc)

相似文章