标签
该论文提出 MeddeX 系统,结合 QLoRA 微调的 LLaMA-3 (8B)、报告级检索增强生成 (RAG) 以及 Gemini Vision 多模态层,实现对医疗报告的证据支撑式摘要与分析,并在 ROUGE、BLEU 和 BERTScore 上相对基线模型取得一致提升。
一位开发者创建了一个密集的9.4B参数AI模型,具有Engram表和AttnRes建模等技术增强,旨在开源发布,并寻求社区兴趣以进行进一步训练和部署。
本文提出了一种将视觉-语言模型量化到每参数2.7位的框架,通过将Llama 3.2 11B Vision Instruct模型压缩至3.7 GB,实现高效移动部署,同时保持视觉问答任务上的性能。
一条推文,重点介绍了开源AI的五大高光时刻,将Llama 3、Qwen 2.5、DeepSeek R1、GLM 4.5和Kimi K3列为具有变革意义的发布。
本研究探讨了在Llama-3.2-3B和Qwen-3-4B等小型语言模型上使用偏好优化方法(ORPO、AlphaPO),通过微小数据集使其与斯多葛哲学对齐。研究发现,尽管300个样本可以有效编码斯多葛美德,但小型模型在处理外向型的宇宙公民义务时仍面临困难。
arXiv预印本在GPT-2 Small与Llama 3.2中定位编码刻板印象的神经元与注意力头,显示偏见集中在少数神经元子集,但消融它们几乎无法减少带偏文本生成。