llm-tools

LiteLLM已从Python迁移到Rust，性能大幅提升：请求开销降低150倍至0.05ms，吞吐量提升15倍，内存占用降低11倍至32MB。

一条Twitter帖子列出了20个对AI工程至关重要的GitHub仓库，涵盖了本地AI代理、LLM、图像生成和工作流自动化方面的工具、框架和模型。

rtk 库通过压缩 shell 命令输出来减少 token 消耗，在两周内为编码代理节省了 250 万个 token。

一篇反思性博客文章，探讨代理式代码生成如何阻碍技能保留，以及如何在开发中重新增加摩擦以进行刻意学习的策略。

LlamaIndex 用 Rust 重写了文档解析器，将 457 页 PDF 的解析时间缩短至 0.7 秒，开源免费且支持多种运行环境。

ModelHub 是一款在 Mac 菜单栏上运行本地大语言模型的应用。

反思在AI Agent系统中经过数月生产后切换记忆工具的隐藏成本，与切换模型的微不足道形成对比。

一条推文称vllm-studio已被确认优于Claude Desktop。

发布了一款免费工具，帮助用户在服务提供商接收之前，检测大语言模型（LLM）提示词中泄露的个人身份信息（PII）。

autoharness 是一个自动化代理 harness 优化工具，能基于基准测试命令自动生成提案、运行评估并改进 agent 的 prompt、配置和源码，支持 Codex 和 Claude。

25岁播客主Dwarkesh Patel访谈了OpenAI、Anthropic、DeepMind等顶级AI实验室的核心人物，包括Karpathy、Hassabis、Dario Amodei、Ilya Sutskever等。他公开了自己用AI辅助的「一周准备」工作流：让AI列出必读资料、追踪未懂之处、用AI绘制全景图、自己动手实现代码。Time杂志2024年将其列入「AI 100人」。