llm-adaptation

RimRule提出了一种神经符号方法，利用最小描述长度原则从失败轨迹中提炼出紧凑、可解释的规则，在不修改权重的情况下提升LLM工具使用性能，并展示了规则在模型间的可迁移性。

本文研究了将大语言模型适配到3D CT报告生成的参数高效策略，提出了RAD3D-Prefix，一个轻量级的诊断先验条件框架，该框架保持LLM冻结，仅需极少的可训练参数。结果表明，冻结更大的LLM（约10亿参数以上）并仅训练轻量级投影层，能够在性能、泛化能力和计算效率之间实现更优的权衡。

Hybrid-LoRA提出了一种框架，选择性地对一小部分模块进行全微调，同时对其他模块使用LoRA，在显著降低计算成本的同时实现了接近全微调的性能。实验表明，与现有参数高效基线方法相比，性能提升高达5.65%。