我花了不少时间尝试让LLM制作出真正值得听的播客。难点不在模型本身。
摘要
一位开发者分享了让LLM生成的播客听起来更自然的技术,包括使用约束条件迫使产生分歧,以及在生成前预先编辑内容。
我想知道LLM能否生成一个我愿意主动去听的播客——具体来说,就是把Hacker News的讨论串变成音频。结果发现,写脚本反而是最简单的20%。剩下的就是对抗模型默认想做的一切。两个方法最有效:1. 约束条件胜过指令。告诉模型“要像对话一样”毫无效果。真正管用的是给两位主持人不同的信息——一个只读文章,另一个只读评论。他们因为掌握的事实不同,根本无法达成一致,所以会争论起来,而不是礼貌地互相点头。这一个约束条件比任何“自然一点”的提示都管用。2. 先生成前编辑。把整个评论串都丢进去,模型会平等对待每条评论——结果就像会议纪要。先加一个廉价的“制作人”模型,让它决定这集播客的主题,并挑选出几条值得讨论的评论,然后主模型再写稿,这是质量提升最大的一步。过程中也有一些搞笑的失败案例:模型把“API”读成“appy”,把1,204读成“一千两百零四”,还有一次我在脚本里加了“[叹气]”想增加点人性,结果语音只是面无表情地念出了“叹气”这个词。完整文章及音频示例:https://hnlisten.app/blog/i-told-the-ai-to-sigh 好奇其他在做AI生成音频/对话的人有没有什么诀窍来解决“听起来不像论文”的问题——尤其是如何强制产生真正的分歧。
相似文章
从零开始使用MLX构建大语言模型
一份关于使用Apple的MLX框架从零开始构建大语言模型的指南。
你的LLM评判者有多虚伪?大型语言模型语用能力中的听者-说者不对称性
本文通过比较LLM作为语言恰当性评判者与作为语用恰当语言生成者的表现,研究了LLM语用能力中的不对称性。研究发现,许多模型作为语用听者的表现显著优于作为说者的表现,表明评估能力与生成能力之间存在错位。
使用大语言模型自动标注汉语叙事转录文本
本文评估了使用大语言模型自动标注汉语口语叙事宏观结构的效果,发现最佳模型在降低65%标注时间的同时,达到了接近人类水平的可靠性,但在语义复杂或词汇多样的叙事文本上性能有所下降。
微调大语言模型以生成1995年代风格的文档
作者使用1990年代微软手册语料库,对本地大语言模型进行微调,以生成复古风格的文档,探索本地模型在技术写作中的定制化应用。
ProactiveLLM: 学习主动交互的流式大语言模型
ProactiveLLM 提出了一种方法,使流式大语言模型能够基于内源性线索主动决定何时生成输出,通过基于掩码的流式建模和同步特权自蒸馏,在无需外部标注的情况下降低延迟。