semantic-aware

一种针对LLM前缀缓存的新型语义自适应驱逐策略，学习不同令牌类型间的令牌重用模式，相比现有策略实现了1.4倍至2.7倍的TTFT提升。

本文提出CTO方法，通过对比学习和直接偏好优化结合语法引导与语义感知偏好优化来改进代码翻译，在C++、Java和Python翻译中显著优于现有基线。