dpo-fine-tuning

BugTraceAI Apex 是一个完全本地化的26B混合专家模型，通过DPO微调，用于红队测试和漏洞挖掘，基于精英漏洞报告和规避技术训练。通过量化可在消费级GPU上运行。

本文提出一种数据集生成管道，通过DPO微调使大语言模型与韩国文化规范对齐，在提升文化安全性的同时不损害通用性能。