vietnamese

本文介绍了一种基于语言学的音素分词器，用于越南语和中文，该分词器将音节分解为声母、韵母和声调成分，从而减小词汇表大小并提高效率。所提出的PhonemicBERT模型在语言理解任务中与现有的分词器和预训练模型相比，展示了具有竞争力或更优的性能。

本文介绍了VialectBench，这是一个评估LLM在六种越南方言群体和四项任务上鲁棒性的基准，发现平均性能下降2.82%，且没有模型完全不受方言影响。

BamiBERT 是一种新的基于BERT的越南语预训练语言模型，它解决了PhoBERT的局限性，支持更长的上下文，无需分词即可运行，并在多个越南语基准上取得了最先进的结果。

本文提出PiDA，一种基于语音信息的越南语语音翻译数据增强方法，通过使用语音词嵌入生成类似ASR的破坏来提高鲁棒性，在噪声输出上获得高达+2.04 BLEU的提升。

本文提出了一种方言感知的语音框架，用于建模越南语自动语音识别（ASR）中的语音变化，将音节分解为结构化组件，并将其映射到特定方言的国际音标（IPA）表示。该方法在UIT-ViMD多方言数据集上，以更少的参数且无需外部预训练，匹配了预训练基线的性能。

为大语言模型在越南法律文本简化任务上提出了一个综合的双维度评估框架，结合了定量基准测试（准确性、可读性、一致性）和跨 GPT-4o、Claude 3 Opus、Gemini 1.5 Pro 和 Grok-1 的定性错误分析。