DysLexLens:一种用于分析在线论坛中阅读障碍学习者见解的低资源LLM框架
摘要
本文提出DysLexLens,一种低资源LLM框架,利用在线论坛数据分析阅读障碍学习者使用AI工具的体验,具有词典驱动过滤、知识图谱推理和评估指标等功能。
arXiv:2606.27619v1 Announce Type: cross
摘要:阅读障碍学习者越来越多地使用人工智能(AI)工具来支持阅读、写作、组织以及与学习相关的任务。然而,他们使用这些工具的实际体验在很大程度上仍未被充分研究。本文提出DysLexLens,一种低资源LLM框架,旨在通过在线论坛讨论分析阅读障碍学习者使用AI的体验。DysLexLens被设计为端到端、可追溯证据的架构,将嘈杂的社交媒体帖子转换为词典驱动的语料库,提供基于知识图谱(KG)的问题推理,生成可验证的查询响应,并通过定量和人工评估实现响应评估。DysLexLens有四个关键特性。首先,它采用词典驱动的过滤方法构建更聚焦于阅读障碍和AI的Reddit语料库,过滤掉嘈杂和弱相关的帖子,以提高从低资源论坛环境中收集数据的相关性。其次,它结合LLM辅助语义分析和基于KG的查询推理,以揭示有意义的模式。第三,它具有定量评估指标(RAGAS和查询鲁棒性)来衡量LLM生成的响应性能。第四,它提供结构化的定性验证指南来评估响应质量,特别关注幻觉和证据对齐。我们使用与阅读障碍相关的Reddit论坛数据和30个问题展示了DysLexLens的有效性。结果表明其具有泛化到其他低资源论坛数据环境的潜力。DysLexLens、样本数据、问题和评估结果可在GitHub上获取,以支持可重复性。
查看缓存全文
缓存时间: 2026/06/29 05:26
# DysLexLens:一种用于分析在线论坛中阅读障碍学习者洞察的低资源大语言模型框架 来源:https://arxiv.org/html/2606.27619 andAtie Kia,Phongpadid Nandavong,Dominique Carlon,Jeremy Nguyen,Abhik Banerjee,James Marshall,Anthony McCosker,Yong-Bin Kang 斯威本科技大学 墨尔本,维多利亚州,澳大利亚 drezazadegan,akia,bnandavong,dcarlon,jdnguyen,abanerjee,jgmarshall,amccosker,[email protected] (https://arxiv.org/html/2606.27619v1/mailto:drezazadegan,%20akia,%20bnandavong,%20dcarlon,%20jdnguyen,%20abanerjee,%20jgmarshall,%20amccosker,%[email protected]) ###### 摘要。 阅读障碍学习者越来越多地使用人工智能工具来支持阅读、写作、组织以及学习相关任务。然而,他们对这些工具的真实体验在很大程度上仍未得到充分研究。本文提出了一种低资源的大语言模型框架 DysLexLens,旨在通过在线论坛讨论分析阅读障碍学习者对AI的体验。DysLexLens被设计为一个端到端、证据可追溯的架构,它将嘈杂的社交媒体帖子转化为词典驱动的语料库,提供基于知识图谱的问题推理,生成可验证的查询响应,并通过定量和人工评估实现响应评估。DysLexLens具有四个关键特性。首先,它采用词典驱动的过滤方法,构建一个更聚焦于阅读障碍和AI的Reddit语料库,过滤掉噪声和弱相关的帖子,以提高从低资源论坛环境中收集数据的相关性。其次,它将大语言模型辅助的语义分析与基于知识图谱的查询推理相结合,以揭示有意义的模式。第三,它具有定量评估指标(RAGAS和查询鲁棒性),用于衡量大语言模型生成的响应性能。第四,它提供了结构化的定性验证指南,用于评估响应质量,特别关注幻觉和证据对齐。我们使用与阅读障碍相关的Reddit论坛数据和30个问题展示了DysLexLens的有效性。结果表明,它可能具有可推广性,适用于其他低资源论坛数据环境。DysLexLens、示例数据、问题和评估结果可在GitHub上获取¹¹https://github.com/SIRI-HAC-Program/DysLexLens,以支持可重复性。 DysLexLens,阅读障碍,大语言模型,阅读障碍Reddit论坛,阅读障碍学习者,包容性AI ††版权:无 ## 1. 引言 阅读障碍被广泛认为是一种神经生物学学习困难,尽管个体具有足够的智力、动机和教育机会,但它会影响准确和流畅的单词阅读、拼写和解码能力(Lyon等人,2003 (https://arxiv.org/html/2606.27619#bib.bib14))。其根本原因涉及多因素,包括神经生物学、心理和环境的影响(Catts等人,2024 (https://arxiv.org/html/2606.27619#bib.bib15))。最近的患病率估计表明,阅读障碍影响5%-17%的人口,这取决于阅读困难、预期与实际阅读表现之间的差异以及评估中使用的一些读写相关指标(Wagner等人,2020 (https://arxiv.org/html/2606.27619#bib.bib16))。患有阅读障碍的学习者通常面临重要的教育挑战,例如阅读流畅性、书面交流、理解能力、组织能力和课堂参与方面的困难。这些挑战产生了强烈需求,需要更好地理解支持形式、应对策略和实际解决方案,以改善他们的学习成果。 人工智能工具的迅速崛起为阅读障碍学习者提供了个性化和可访问学习支持的新可能性。为了帮助阅读障碍学习者,现有工作主要关注两个方向。第一个是技术中心的方法,包括对阅读障碍学习者辅助技术的综述(Smith and Hattingh,2020 (https://arxiv.org/html/2606.27619#bib.bib17);Lerga等人,2021 (https://arxiv.org/html/2606.27619#bib.bib18))。虽然这些综述很有价值,但该方向主要描述可用的工具和功能,对阅读障碍学习者在自然环境中如何描述自己的需求、挫折和真实体验提供的洞察有限。第二个方向是以学习者为中心的方法,研究真实体验和在线话语。例如,基于Reddit的主题分析表明,在线社区可以揭示阅读障碍者自我表达的有意义的观点(Kok,2022 (https://arxiv.org/html/2606.27619#bib.bib19))。然而,该方向更侧重于身份建构和社会意义,而非AI感知和学习相关的使用案例。因此,先前的研究要么解释了阅读障碍支持技术的供给面,要么解释了阅读障碍体验的特定方面,但关于AI和相关工具在实践中如何被感知、采用和评估,提供的以学习者为中心的实证证据有限。 为填补这一空白,本文提出了DysLexLens,一个用于分析阅读障碍学习者及相关利益相关者Reddit论坛数据的证据可追溯框架。DysLexLens有助于研究AI工具在自然在线社区中是如何被讨论的,重点关注学习相关的实践、感知到的益处和局限性、促成条件、教育支持环境以及话语的时间变化。具体而言,本文将展示DysLexLens如何回答五个研究问题: RQ1:在线讨论中,阅读障碍学习者描述了AI工具的哪些学习相关用例? RQ2:当AI工具用于不同学习任务时,报告了哪些益处和失败模式? RQ3:在什么条件下,AI工具被认为对阅读障碍学习者有帮助、支持性或包容性? RQ4:AI支持如何在与更广泛的教育挑战(包括机构便利措施和个人应对策略)相关的讨论中被提及? RQ5:阅读障碍学习者对AI工具的讨论在流行度、语气和在学习支持中的感知作用方面如何随时间变化? 本文做出以下贡献: - • 我们提出了DysLexLens,旨在成为一个可推广、证据可追溯的框架,用于分析低资源论坛数据,在这些数据中,相关讨论稀少、嘈杂且难以规模化识别。 - • 我们展示了DysLexLens在阅读障碍和AI领域的有效性,使用Reddit讨论来研究阅读障碍学习者及相关利益相关者如何描述AI相关的学习用例、益处、限制和支持需求。 - • 我们提出了DysLexLens基于大语言模型的分析流程,该流程通过基于知识图谱的推理将生成的响应与支持性语料证据联系起来。 - • 我们提供了一种混合评估方法,结合定量指标和人工验证指南来评估响应质量、幻觉和证据对齐。 ## 2. 相关工作 本节将本研究定位在阅读障碍支持、AI赋能学习技术以及大语言模型辅助的在线论坛数据分析的交叉点。我们首先回顾关于阅读障碍学习者和现有支持方法的研究,然后讨论使用大语言模型分析用户生成的论坛数据。 关于阅读障碍学习者的研究:大量研究已经考察了阅读障碍学习者,研究范围超越了解码和拼写困难(Snowling等人,2020 (https://arxiv.org/html/2606.27619#bib.bib30)),扩展到理解能力(Georgiou等人,2022 (https://arxiv.org/html/2606.27619#bib.bib34))、书面表达(Graham等人,2021 (https://arxiv.org/html/2606.27619#bib.bib35))、学习者参与度(Nevill and Forsey,2023 (https://arxiv.org/html/2606.27619#bib.bib31))、学习者自信心(Hamilton Clark,2024 (https://arxiv.org/html/2606.27619#bib.bib33))以及更广泛的课堂体验(Ross,2021 (https://arxiv.org/html/2606.27619#bib.bib32))。关于阅读障碍学习者支持的现有工作可分为三大类:非技术性的教学干预、非AI的技术支持以及AI特定方法。 第一类研究了教学干预,例如基于拼音的阅读教学和结构化拼写项目。证据并不总是特定于阅读障碍,有时来自更广泛类别的研究,例如阅读障碍。一项对随机对照试验的元分析发现,拼音是唯一被审查的、对阅读障碍儿童和青少年的阅读和拼写能力产生统计显著效果的方法(Galuschka等人,2014 (https://arxiv.org/html/2606.27619#bib.bib38))。最近的一项综述也发现了对正字法和形态学教学的实证支持(Galuschka等人,2020 (https://arxiv.org/html/2606.27619#bib.bib36))。然而,对阅读障碍学习者的支持不仅仅是读写成果的问题。教学选择也会影响学习者是否感到被理解,是否觉得被区别对待,以及他们在如何支持自己的阅读障碍方面拥有的自主权程度(Ross,2021 (https://arxiv.org/html/2606.27619#bib.bib32))。 第二类关注非AI技术支持,包括用于阅读和写作的辅助工具。辅助软件可以提高拼写能力,但通常被视为一种辅助手段,而非直接教学的替代品(Galuschka等人,2020 (https://arxiv.org/html/2606.27619#bib.bib36))。一项对九名阅读障碍学生的五年跟踪研究发现,持续使用有声读物、文本转语音和语音转文本等工具取决于学校层面的环境、学生在课堂上的情绪反应以及学生是否形成了有意义的工具使用策略(Almgren Bäck等人,2024 (https://arxiv.org/html/2606.27619#bib.bib39))。这些发现表明,仅技术可用性是不够的。相反,工具可能难以学习,不适合某些学生的需求,或者难以融入现有的学习实践中(Hamilton Clark,2024 (https://arxiv.org/html/2606.27619#bib.bib33))。 第三类探索了AI特定的干预措施。一项综述研究确定了AI在阅读障碍学习者中的四个主要用途:早期检测与诊断、个性化学习、语音和语言处理以及神经影像(Yap等人,2025 (https://arxiv.org/html/2606.27619#bib.bib37))。另一项关于针对学习障碍(阅读障碍是最常研究的状况)学习者的AI干预措施的综述发现了积极的结果,但也指出了现有证据基础中存在偏见的风险(Paglialunga and Melogno,2025 (https://arxiv.org/html/2606.27619#bib.bib40))。 这些类别表明,现有研究主要考察了支持干预措施、可用技术或基于AI的系统的测量效果。关于阅读障碍学习者自己在自然环境中如何讨论AI工具,包括他们使用这些工具做什么、在哪些方面体验到益处或失败,以及他们如何看待这些工具,我们知之甚少。我们的研究通过分析阅读障碍和AI相关的Reddit论坛数据(作为一个低资源、用户生成的数据环境)来填补这一空白。 大语言模型辅助的在线论坛数据分析:大语言模型在分析文本数据方面的使用日益增多,这增加了将其应用于在线论坛和社交媒体数据的兴趣。现有研究已使用大语言模型进行市场情绪分析(Deng等人,2023b (https://arxiv.org/html/2606.27619#bib.bib21))、为监督学习模型生成标签(Deng等人,2023a (https://arxiv.org/html/2606.27619#bib.bib20))以及分析社会运动期间的公众情绪(Sidharta等人,2025 (https://arxiv.org/html/2606.27619#bib.bib22))。一个突出的应用领域是健康相关的在线话语,包括基于Reddit的狼疮疼痛叙事分析(Walker等人,2026 (https://arxiv.org/html/2606.27619#bib.bib23))、饮食和减肥讨论(Kaloudis等人,2025 (https://arxiv.org/html/2606.27619#bib.bib24))以及饮食失调话语(Chopra等人,2024 (https://arxiv.org/html/2606.27619#bib.bib29))。心理健康社区也是大语言模型辅助论坛分析的主要关注点。现有工作已使用大语言模型识别与Reddit论坛中的自杀意念相关的潜在语言维度,并分析与心理健康相关的社交网络帖子中的语言特征(Bauer等人,2024 (https://arxiv.org/html/2606.27619#bib.bib25);Kim等人,2023 (https://arxiv.org/html/2606.27619#bib.bib26))。相关研究还考察了关于大语言模型本身(如ChatGPT)作为新兴心理健康支持工具的在线讨论(Jung等人,2025 (https://arxiv.org/html/2606.27619#bib.bib27);Luo等人,2025 (https://arxiv.org/html/2606.27619#bib.bib28))。 虽然这些研究展示了大语言模型分析在线讨论的价值,但大多数关注的是广泛的情感、主题模式或心理健康信号。对低资源论坛环境(其中相关帖子稀疏、嘈杂且难以识别,并且分析输出需要链接回支持性证据)的关注较少。 ## 3. DysLexLens框架 参照图注图1. DysLexLens框架概览 本节介绍DysLexLens,一个用于分析低资源论坛数据的证据可追溯框架。DysLexLens专为相关讨论稀疏、嘈杂且分散的环境而设计,使得为系统性分析构建聚焦的语料库变得困难。DysLexLens不将论坛数据视为可直接使用的数据集,而是支持从针对性数据收集到基于查询的推理和响应评估的工作流程。在本文中,我们通过分析阅读障碍学习者及相关利益相关者描述学习体验、支持需求以及对AI支持工具看法的Reddit讨论,将DysLexLens应用于阅读障碍和AI领域。如图1 (https://arxiv.org/html/2606.27619#S3.F1)所示,DysLexLens包含三个层:数据收集层、查询推理层和评估层。 ### 3.1. 数据收集层 该层的目标是从嘈杂、低资源的论坛数据中构建一个聚焦的语料库。在阅读障碍和AI案例研究中,相关讨论并不集中于单个子版块或标记数据集;而是分散在与阅读障碍、神经多样性、教育、无障碍、辅助技术和AI工具相关的社区中。为应对这一挑战,DysLexLens采用三步过程:从广泛的相关社区收集候选论坛数据,保留帖子-评论讨论结构同时移除低信息记录,并应用基于概念词典的过滤方法识别与研究目标最紧密对齐的帖子。 初始子版块数据收集:选择Reddit作为数据源,因为它包含公开可访问的讨论,其中阅读障碍者、家长、教育工作者及其他利益相关者分享经验、挑战、应对策略以及对辅助技术和AI支持学习的看法。为识别候选社区,我们首先从文献研究中确定与阅读障碍、神经多样性、学习支持、辅助技术和AI相关的种子关键词。使用Arctic Shift API,从50个经过筛选的子版块²²这50个子版块列在我们的GitHub仓库中(见脚注1)。收集帖子和讨论线程,包括与阅读障碍和学习差异、更广泛的神经多样性、教育、无障碍、辅助技术、AI工具以及一般用户体验讨论相关的社区。这种广泛的初始搜索
相似文章
ArguLens:一个用于自动作文评分和标签感知反馈生成的开源系统
ArguLens 是一个用于自动作文评分的开源系统,它使用微调的LLM进行话语分类,LightGBM进行评分,并通过一个反馈生成器提供可解释的、标签感知的结果。
HyperLens:利用细粒度置信度轨迹量化大型语言模型的认知努力
本文介绍了 HyperLens,一种高分辨率探针,可通过追踪层间的细粒度置信度轨迹来量化大型语言模型(LLMs)的认知努力。研究表明,复杂任务需要更高的认知努力,并展示了监督微调(SFT)如何降低这种努力,从而可能导致性能下降。
实际环境中的多语言多模态大语言模型:面向低资源语言的构建
本教程论文概述了如何为低资源语言构建多语言多模态大语言模型,涵盖数据创建、模型对齐、微调和评估,重点提供实用方案和动手资源。
LEXIC: 通过注入复杂度实现的轻量级眼动追踪扩展
本文介绍LEXIC,一种轻量级方法,通过将预计算的词级难度信号(GPT-2意外值、词频、词长)注入仅眼动模型中,用于阅读理解预测,在EyeBench基准上相比基线略有提升。
从词汇到AI:面向低资源语言专业对话系统的结构化数据流水线
提出了一种系统方法论,将印地语WordNet转换为125万条指令-响应对,并利用LoRA对12B参数语言模型进行微调,展示了在低资源语言专业对话系统中教学效果的显著提升。