llama-3

一条推文，重点介绍了开源AI的五大高光时刻，将Llama 3、Qwen 2.5、DeepSeek R1、GLM 4.5和Kimi K3列为具有变革意义的发布。

本研究探讨了在Llama-3.2-3B和Qwen-3-4B等小型语言模型上使用偏好优化方法（ORPO、AlphaPO），通过微小数据集使其与斯多葛哲学对齐。研究发现，尽管300个样本可以有效编码斯多葛美德，但小型模型在处理外向型的宇宙公民义务时仍面临困难。

该文章探讨了模型蒸馏的难度和成本，以DeepSeek R1蒸馏到Llama 3 8b和Qwen 2.5 7b为例，询问为何蒸馏模型不常见。

arXiv预印本在GPT-2 Small与Llama 3.2中定位编码刻板印象的神经元与注意力头，显示偏见集中在少数神经元子集，但消融它们几乎无法减少带偏文本生成。