memory-reduction

Charlie Marsh 报告称，一项投入 5.6 Sol 的活动将整个生态项目中 ty 的保留内存减少了 38%，同时提升了性能，并强调每次更改都经过了严格的人工审核。

ReFreeKV引入了一种无阈值的KV缓存压缩方法，自适应分配预算，消除了对输入特定阈值的需求，同时在各种数据集和模型大小上保持全缓存性能。

开发者 @charliermarsh 报告使用 Codex 将 ty 的保留内存再减少 15%，通过 /goal 实现了约 25% 的整体内存减少，并表达了对 GPT 模型的喜爱。

作者描述了将 3 GB 的 SQLite 数据库替换为 10 MB 的有限状态转换器（FST）二进制文件，以优化芬兰语-英语词典工具，在保持性能的同时将内存使用量减少了 300 倍。