text-processing

Desert Ant Labs 提供适用于语音、文本和视觉的小型专业AI模型，这些模型可在设备上离线运行，并配备SDK以便轻松集成，且无使用费用。

本文解释了如何使用 m4 宏处理器，通过创建自定义宏来减少 OpenBSD 的 httpd 配置中的重复代码。

Google DeepMind 宣布对其 AI 模型进行改进，增强了在嘈杂环境中理解复杂电话号码、邮政编码和订单 ID 的能力，同时加入了去除填充词和识别自定义词汇等功能

介绍grapheme-kit，一个开源Python库，该库扩展了词汇距离和评估度量，使其操作于字素簇而非Unicode码点，并改进了对泰米尔语和僧伽罗语的处理。

介绍7个GitHub项目，用于去除AI写作痕迹，涵盖中文和英文文本，包括qu-ai-wei、Humanizer等工具，帮助用户写出更像人写的文章。

一篇1997年的教程，解释了如何使用sed和sort从原始术语-页码列表中为书籍创建格式化索引。

Gigatoken 是一个开源分词器，通过SIMD和缓存优化，相对于HuggingFace分词器实现了高达1000倍的加速，相对于Tiktoken实现了100倍加速。它支持作为现有分词器API的直接替代。

Mojibake是一个为C11/C++17设计的自包含Unicode 17库，提供归一化、大小写转换和字符数据库功能，零依赖。

ColibotAI 是一款设备端AI工具，可在无需联网的情况下翻译、总结和解释任何文本。

这个仓库将201GB文本压缩至6GB，且无精度损失，比向量数据库小97%。它可本地运行，并为Claude提供即插即用的MCP，完全开源且私密。