标签
开源推理工程仓库的第 6 部分已发布,涵盖使用真实模型推理和 DynamicCache 进行 KV 缓存内存分配、增长、释放,以及容量感知调度。
GuppyLM 是一个约 900 万参数的小型语言模型,可在单个 Colab 笔记本上用 5 分钟从零训练完成,模拟一条叫 Guppy 的鱼说话,旨在证明自训语言模型并非玄学、人人可上手。
一个极简、自包含的 PyTorch 手动实现的 Transformer 分类器自动微调(autograd)代码,旨在帮助建立对 autograd 底层工作原理的直观理解,以及梯度如何在注意力模块中流动。
《Harness Engineering 101》是一本免费在线书籍及 GitHub 仓库,从第一性原理出发讲解如何构建 AI 智能体——将 LLM 视为大脑,将周围的 harness 程序视为身体。全书共 16 章,并附有一个不断完善的约 300 行 Python 迷你智能体示例。
一门大学课程讲座(CS 463),讲解Galois有限域 GF(2^8) 如何为高级加密标准(AES)提供数学基础,涵盖作为异或运算的域加法,以及基于多项式的乘法和替换表。
ai-agents-zero-to-hero 是一个零依赖、纯 Python 的教学框架,从第一性原理出发讲解 AI 智能体的基础知识直至生产实践,涵盖智能体循环、工具调用、记忆和运行时框架。
该推文总结了优化 LLM 推理的 12 种 KV 缓存技术,包括滑动窗口、跨层共享、MLA、量化、前缀复用、分页、驱逐和 GQA/MQA 等,帮助开发者根据具体瓶颈选择合适的组合。
这是一篇面向软件工程师的教程式指南,在 Lean 定理证明器中形式化关于正则语言的一个构造性证明,逐步讲解规约、实现、归纳以及形式化证明的构成要素。文中展示了如何借助 Mathlib 中已有的定理,让开发者也能轻松形式化教科书中的自动机理论。
本文澄清了AI领域中Agent与Harness的混淆,提出公式Agent = Harness + Model以助理解。
GitHub 托管了多个高星开源指南,提供关于生活优化、财务管理和英语学习的免费建议,让每个人都能获取有价值的知识。
感谢读者 LiNan1984 将《深入理解 AI Agent》提炼为 22 项技能,方便代理开发和人类阅读。
OpenTrainDNN 是一个开源的客户端Web应用,它能在浏览器中实时可视化深度神经网络的训练过程,包括反向传播和权重更新。
Prof. Tom Yeh分享了一份PDF,包含agentic AI主题的数学题,如令牌成本和系统提示,鼓励手算以学习。
这本书《Hands-On Large Language Models》提供了一个全面、开源的指南,介绍大型语言模型,包含可在Colab上运行的代码,覆盖从基础到多模态应用的主题。
作者宣布其著作《The Secret Life of Circuits》的实体版正式发布,这是一本全彩精装指南,涵盖现代电路设计与问题解决。
MIT_CSAIL 分享的回顾视频中,MIT 教授 Peter Shor 为有志于计算机科学的人提供建议。
MIT CSAIL分享了一份面向初学者的统计学指南,为数据科学和人工智能提供基础教育内容。
在本次完整访谈中,Sean Carroll 探讨了宇宙的基本概念,涉及物理学和宇宙学领域。