卡在独特的NLP难题上[D]

Reddit r/MachineLearning 新闻
multilingual-nlp code-mixing sentence-transformers transliteration lightweight-models

摘要

开发者寻求在不依赖大模型的情况下对英-印混写文本进行分类的建议，因为句子变换器在处理罗马化印地语时完全失效。

简单来说，我正在开发一款需要给文本打标签的应用。问题在于文本可能是纯英文、纯印地语，或者印地语+英文（用英文字母拼写的印地语）。我自然想到用句子变换器，但它对印地+英文混写文本的表现惨不忍睹——模型完全捕捉不到这类句子的语义。我知道上大模型能搞定，但会让应用变得太重。我也考虑过音译转写，可效果不准还会把文本弄坏。有人遇到过类似情况吗？该往哪个方向走？
查看原文

相似文章

Multilingual-Multimodal-NLP/LoopCoder-V2 · Hugging Face

Reddit r/LocalLLaMA

LoopCoder-V2 是一个基于 Parallel Loop Transformer (PLT) 构建的 7B 参数指令调优代码模型，展示了非单调测试时扩展特性，其中两个循环提供了最佳的收益-成本权衡，并在代码生成和推理基准测试上显著优于基线模型。