llm-cascade

介绍一种基于768维嵌入空间上的吸收马尔可夫链（Absorbing Markov Chain）的语义分流引擎，通过在60节点领域流形上做随机游走来替代朴素余弦相似度路由，实现<2ms的零token意图分类，从而在唤醒LLM之前完成路由。文中给出JevBench基准测试结果：四层级联系统（Gevva0）在240个条目上达到100%召回、89.17%精度，平均p50延迟46ms，并配备否定/语法、流形邻近OOD和熵与边界三重防护网。

本文介绍了Value-Router，一项针对推荐系统中廉价启发式方法与昂贵LLM调用之间成本感知路由的仿真研究，表明价值加权路由提高了精确度，并通过自适应预算处理季节性需求激增。