标签
提出 EC2-Bench，一个评估长时程 LLM 智能体边云协作的基准，揭示在任务性能、资源使用与隐私暴露之间的权衡，并发现更强的边端模型会将协作方式推向更多由边端控制的策略。
据报道，Anthropic 确认，参数量为 90 亿的小型 AI 模型可能很快就能在商用物联网设备上实现自我复制，其中一款 90 亿参数模型已在 9 种受测硬件中的 8 种上成功运行推理，标志着本地 AI 发展的一个里程碑。
llama.cpp 项目介绍：一个以 C/C++ 实现的轻量级 LLM/VLM 推理引擎，支持多种硬件后端，可在从服务器到树莓派等各类设备上运行，并提供命令行工具与 OpenAI 兼容的 API 服务。
该推文推荐了一篇非常详尽的 Cloudflare 上手教程，涵盖了 DNS 解析、橙云/灰云、SSL/TLS、邮件路由转发、R2 对象存储、AI 爬虫检测、Workers AI 资源以及用 Agent 接管 Cloudflare 等实用技巧，作者表示跟随练习近一小时收获颇丰。
Deno 宣布整个团队加入 Cloudflare：Deno 运行时将在一年维护期后停止开发，Deno Deploy 六个月后关闭，JSR 将迁移至 Cloudflare 基础设施，未来开发重心转向基于 Cloudflare Workers 和 Durable Objects 的统一平台（celld）。
该论文提出了一种自适应多判别器 Wasserstein GAN（MD-WGAN）框架，将强化学习与博弈论协调结合，用于资源受限的车联网环境，实现与最先进 GAN 相当的预测精度（RMSE 1.029），同时显著降低 CPU 与内存消耗。
Edge0 开源一个月后展示了 35B 模型在 iPhone 飞行模式下以 1.8GB 峰值内存运行的能力，无需云端或服务器，已扩展到耳机、智能眼镜、机器人等设备并拥有超过 8 万用户。
Cascadia 论文展示了在 11 台 Intel Core Ultra X7 358H AI PC 上对 975B 总参数（41B 激活参数）的 Inkling MoE 模型进行分布式常驻推理，通过自定义 MoE 引擎与 OpenVINO 融合算子，实现了 60.29 的聚合 decode tokens/s 性能。
该研究评测了轻量级开源语言模型在资源受限的边缘环境中对智能数据模型(SDM)进行分类的性能，涵盖通用、推理专用和代码专用架构，并与TF-IDF及轻量句子编码器基线进行对比，为边缘部署的模型选择和任务设计提供参考。
一家电动汽车充电公司计划在美国各地的充电站部署 100,000 块 Nvidia GPU 集群，旨在利用充电站闲置的电力容量，推出"全球首个基于闲置电动汽车充电容量的边缘推理计算网络"。
转发并评论了 @elliothux 开源的 open-compute 项目：将整套 Cloudflare Workers 平台打包进一个零依赖的单二进制文件，内置 KV、D1、R2、DO、Queues、Workflows 等全套生态，资源占用极低，可 1 分钟部署。
一段关于 0xSigil 讨论“Underdog 定律”的访谈片段——这一观察指出，完全运行在 MacBook 等消费级设备上的本地 AI，如今已经可以超越 OpenAI 和 Anthropic 仅六个月前发布的前沿模型，而且无需在隐私与能力之间做取舍。
针对个人AI计算机“Core”发布的评论，指出其显卡单独价值3200美元，并配备了64GB DDR5内存、NVMe存储以及预配置软件。
Nishant Joshi 认为，用户桌面上的个人设备本就拥有大量闲置算力（约 15 TFLOPS、46 GB 内存），把数据传到云端去处理那些上下文早已在本地的任务纯属浪费。他主张服务器只应用于协调、权限与数据同步，但也承认工程成本、计费信任以及前沿模型等方面的局限。
该研究在预训练的 AI 天气模拟器（DLWP 和 FourCastNet）上探索训练后量化（PTQ），以加速自回归推理并实现边缘硬件部署，发现量化后的配置仍能保留具有定性意义的短期预报结果。
Cactus Compute 发布 Whistle，一款 16.9 MB 的开源语音识别模型，可在 CPU 上无依赖运行，覆盖手机、可穿戴设备、机器人、汽车和微控制器等场景。它支持七种语言的转写，提供词级时间戳和语音嵌入，首个 token 生成延迟为 11 毫秒，并与 Needle 共享 C++ 引擎和量化技术。
一条推文认为，基于 DGX Spark 和 Mac Studio 这类本地 AI 方案，如今在速度、性价比和可靠性方面已经可以媲美云端 AI，还兼具隐私保护和免于审查的优势，尽管在能力上仍稍逊于前沿云端模型。被引用的回复则反驳称，DGX Spark 速度慢、价格相比租赁云 GPU 明显过高，且很可能快速贬值。
Cloudflare 宣布 K2 进入公开测试阶段，这是其开发者平台（Developer Platform）上一项持久化、完全无服务器的事件流原语，在 R2 对象存储之上实现了分区持久日志，可实现类似 Kafka 的可扩展事件解耦，但专为边缘场景而设计。
AgBench 推出了一套基准测试和开源工具，用于评估智能体 AI 在个人设备上的表现，在超过 1.62 亿个数据点的基础上，从任务成功率、延迟、API 成本和数据暴露风险等维度对比了本地、混合和云端三种执行方式。研究发现没有哪一种架构占据绝对优势：本地执行虽然降低了云服务成本和隐私风险，但通常会降低任务成功率。
Netlify 基于 Firecracker MicroVMs（配合 Unikraft）重建了 Edge Functions 基础设施，将热调用延迟从 25–40 毫秒降至约 5–6 毫秒（p50）——提速约 5 倍——同时提升了安全性与可靠性，且开发者编写函数的方式无需任何改变。