赞颂观察性证据

Hacker News Top 新闻

摘要

本文认为,与随机对照试验相比,观察性证据被低估了,并通过18世纪的历史例子来说明其效率和效力。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/07/07 11:11

# 赞颂观察性证据 来源:https://asteriskmag.com/issues/14/in-praise-of-observational-evidence 人人都知道随机对照试验是证据的金标准……对吧? 1710年,苏格兰医生约翰·阿布斯诺特提出了一个关于上帝存在的新证明。¹(https://asteriskmag.com/issues/14/in-praise-of-observational-evidence#fn-1)他观察到,伦敦连续82年男婴受洗人数多于女婴。假设生女孩的概率与生男孩相等,且每年独立变化,那么这一结果偶然发生的概率是0.5^82。由此推断,这一比例并非由随机性支配,而是由某种神圣的统一原则决定。 皮埃尔-西蒙·拉普拉斯在1781年发表的分析中重新审视了这些数据,并更冷静地得出结论:生男孩的概率只是略高于二分之一。拉普拉斯进一步对不同欧洲城市男女出生比例的差异感兴趣,发现伦敦的这一比例比巴黎高0.38%,他认为这一差异显著。²(https://asteriskmag.com/issues/14/in-praise-of-observational-evidence#fn-2)巴黎与那不勒斯的相同比较得到的概率为1/100,拉普拉斯认为这“不够极端,不足以做出不可更改的结论”。 这些早期的定量假设检验既展示了观察性证据的风险,也体现了其优点。诚然,正如阿布斯诺特所示,很容易就能发现数据证明了你一直想要相信的事情。然而,值得注意的是,阿布斯诺特和拉普拉斯都能获取地方记录,然后就在自己的书桌前开始科学研究。这样做,两人都正确地记录下了重要现象,而且无需投入大量人力或资金来获取数据。 这种获取知识的方法所具备的高效、简单和优雅,一直未被充分重视,尤其是在医学和公共卫生领域。尽管对于药物等干预措施而言,以随机对照试验的形式获取数据被认为是理想的,但在这两个领域中,这种数据收集方式并不总是可行。诚然,拉普拉斯检验的巴黎与伦敦的假设相对简单,但他的样本量超过193万,超过了医学史上绝大多数干预性试验。能够检测出一个二元随机变量中0.3%差异的随机试验(针对特定干预措施,且样本量足够大、分布足够均匀)非常罕见——但拉普拉斯在200多年前就能做到。 随机对照试验的优势使其成为医学干预性试验的金标准,并且至今仍是许多外行人眼中进行科学研究的唯一正确途径。然而,一旦我们理解了这些优势从何而来、它们如何与样本收集的经济性相互作用,以及替代方法(观察性证据)的优点,就会发现观察性证据获胜的次数比人们想象的要多。 插图:Dalbert B. Vilarino ## **随机对照试验的缓慢发明** 关于对照试验的首次书面记载可以追溯到公元前7世纪的《但以理书》1:11-16。这位同名的先知请求巴比伦王尼布甲尼撒的管家允许他吃素,而不吃国王提供的丰盛且可能不洁的食物。国王的管家担心但以理和他的同伴会消瘦下去,但同意让他们试用这种饮食10天,之后两种饮食的追随者将根据他们的“面貌”和“肥美”程度来评估。素食者获胜,管家被说服了。 虽然其他前现代的对照试验寥寥无几,但11世纪波斯哲学家伊本·西那的《医典》确实为设计实验设定了规则,包括要求对“单一而非复合病症”的患者进行测试。这与现代随机对照试验中的做法相呼应,即排除患有罕见合并症或其他特殊情况的患者。 样本量问题在近千年前和今天一样敏感。医学中最早提及拟议的大样本比较,并非来自对真实试验的描述,而是来自一个未实现的提议。在14世纪意大利诗人彼特拉克的一封信中,作为对医生论战的一部分,他宣称: > 我郑重声明并相信,如果一百或一千名年龄相同、体质习惯相同、生活环境相同的人,在同一时间患上同一种疾病,其中一半遵循如今各式医生的处方,另一半则不服用任何药物,只依靠自然的本能,那么哪一半能幸存下来,我毫不怀疑。³(https://asteriskmag.com/issues/14/in-praise-of-observational-evidence#fn-3) 佛兰芒医生扬·巴普蒂斯特·范·海尔蒙特对医学实践则稍微乐观一些,他在1648年写了一封挑衅性的信,随意地提议进行可能是首次明确使用外部熵源进行随机化的试验: > 让我们从流动医院、军营或其他地方找来200或500名患有发烧、胸膜炎等疾病的穷人,把他们分成两组:让我们抽签,使其中一半落到我手里,另一半落到你手里。我将不用放血或明显的催泻来治疗他们,你则按照你的知识来治疗(我甚至不要求你遵守你关于戒除静脉切开或催泻的夸口),然后我们看看各自有多少葬礼:比赛的胜者将获得我们每人存入的300弗罗林的奖金。⁴(https://asteriskmag.com/issues/14/in-praise-of-observational-evidence#fn-4) 可能最早有记录的临床对照试验之一的样本量要小得多:12人。1747年,英国海军医生詹姆斯·林德想测试治疗坏血病最有希望的方法。他挑选了12名症状相似的患者,全部喂食相同的饮食,并同住在船的同一个区域。唯一的区别在于治疗方式:苹果酒、醋、“硫酸酏剂”(酒精和硫酸的医学提取物)、海水、柑橘类水果,或船上外科医生推荐的一种药膏。这并非完全意义上的现代对照试验——首先,没有对照组——但在当时这几乎无关紧要。柑橘组显然是第一批康复的。 设计更好的试验直到20世纪仍然罕见。一个正面的例外是1898年由丹麦医生约翰内斯·菲比格进行的一项白喉试验。这项试验有484名参与者,规模比林德的试验大。与当时大多数其他医生不同,菲比格有意寻求大样本量,并确保他的参与者确实患有他们试图治疗的疾病。最重要的是,他制作了详尽的试验过程记录。⁵(https://asteriskmag.com/issues/14/in-praise-of-observational-evidence#fn-5)菲比格的试验还包含了一个真正的对照组,以及临床试验中首次明确随机化的尝试。菲比格根据患者入院日期来决定是否给予他们实验性血清,而不是优先治疗病情更重的患者或采取其他可能使结果产生偏倚的做法。 临床试验中偏倚的一个主要来源是研究者自身:即使是像菲比格这样认真且用意良好的研究者,也有动机去证明自己的治疗方法有效,并寻求各种途径(有意或无意)将结果导向有利于自己的方向。偏倚的另一个来源是安慰剂效应,即患者相信是真实的假治疗有时也能产生临床效果。如今,这通过双盲试验来解决,即进行研究的医生和患者本人都不知道谁在接受安慰剂或真实治疗。 1946年,英国医学研究委员会开始策划我们最后一个“首个随机对照试验”候选者:一项链霉素治疗结核病的试验。这项实验汇集了今天随机对照试验的许多要素:治疗分配的随机化和隐匿、系统性入组标准、随机化以及定量假设检验。 综合所有方法学上的改进,我们得出了随机对照试验常被引用的优势:来自随机对照试验的治疗估计是无偏的,至少是在合理假设下。 一个较少被认识到的优势是,随机对照试验是一种沟通工具。通过减少数据收集和分析的庞大多样性,它提供了一种进行实验并记录结果的经典方式。经过一个学期的学习,医学生就能很好地掌握如何解读随机对照试验的结果。你可以相对确定,一个临床试验中的p值所传达的信息与另一个临床试验中的p值是相同的,至少在数学模型的层面上如此。根据你所在的领域,你甚至可能因为试验之间的相似性而跳过方法部分。就像社交媒体应用一样,试验设计受益于网络效应。 这也使得与公众和监管机构分享结果变得更加容易。监管机构很快意识到了随机对照试验的力量,但最初缺乏要求进行这些试验的权力。在美国,这种情况在药物沙利度胺导致德国和英国数千例出生缺陷后发生了变化。⁶(https://asteriskmag.com/issues/14/in-praise-of-observational-evidence#fn-6)FDA当时已禁止该药物进入美国市场,这为他们提供了政治筹码,推动立法要求制造商使用“良好控制的调查研究”来证明其药物的有效性和安全性。⁷(https://asteriskmag.com/issues/14/in-praise-of-observational-evidence#fn-7)⁸(https://asteriskmag.com/issues/14/in-praise-of-observational-evidence#fn-8)⁹(https://asteriskmag.com/issues/14/in-praise-of-observational-evidence#fn-9) 由此产生的1962年《科夫沃-哈里斯修正案》使随机对照试验成为向政府证明药物有效的主要方式。由于随机对照试验相对容易理解,组织者通过伪造结果来使药物获批也变得更加困难。随机对照试验并非防欺诈,但其结构使得某些形式的操纵更容易被发现,而对观察性数据进行事后数据挖掘则容易被操纵。 ## **当随机对照试验失败时** 为了理解这在实践中如何体现,让我们设计一个随机对照试验来回答我自己研究领域中的一个问题。我在公共卫生领域工作,一直试图了解降低埃塞俄比亚五岁以下儿童死亡率的方法。一种具有成本效益的干预措施是像DPT(白喉、百日咳、破伤风联合疫苗)这样的基础疫苗。我(可能你也是)在出生后的头六个月内接种了三剂,但在埃塞俄比亚农村地区,婴儿的接种率要低得多。 提高这一数字的一个想法是增加有熟练卫生专业人员助产的产妇数量,在文献中这被称为“熟练助产”。可以合理地认为,卫生专业人员会告诉新妈妈关于新生儿下一步的合理措施,比如何时来接种疫苗。所以一个好问题可能是:在熟练助产的情况下,新生儿接种疫苗的可能性如何变化? 回答这个问题的随机对照试验方案很简单:我们找几百名临产妇女,告诉其中一半:抱歉,你们是对照组,所以祝你们自己顺利分娩,因为我们要把医生带走。然后六个月后我们回来记录孩子是否接种了疫苗。 不用说,这将是一件可怕的事情,幸运的是,没有人正在运行这个试验。 即使有办法解决这个明显的伦理问题,这个假设性实验也会干扰诊所的正常运作,占用大量从业者、研究人员和患者的时间,并且需要不菲的数据收集劳动力成本。 一个具有类似操作强度的例子是1996年的世界卫生组织产前保健试验,该试验比较了不同水平的孕妇保健对各种健康结局的影响。它收集了53家诊所(干预组27家,对照组26家)的数据,观察了24,000名女性的结果,并致谢了256名贡献者。这类研究所需的成本和工作量意味着,在公共卫生领域,大规模随机对照试验非常罕见。实际进行的干预性试验通常规模较小,并且必须妥协以近似于他们真正想要检验的假设。 再以世界卫生组织的试验为例。它比较了不同的方案,但合理地没有包括一个不接受任何护理的妇女组,而这正是我们在进行简单成本效益分析时试图估计的差异。此外,尽管该研究覆盖了四个国家(阿根廷、古巴、沙特阿拉伯和泰国),但我们有理由怀疑这些地区是否与我感兴趣的国家埃塞俄比亚具有可比性。 我们也可能会问,在没有世界卫生组织监督的情况下,一个实施测试方案的典型设施是否会像试验中那样尽职尽责。这类实验很难设盲。在针对严重疾病的候选药物评估中,患者自然会试图弄清楚自己是否在对照组中,以便可能在其他地方寻求有效护理。这是霍桑效应的一个特例,即研究参与者如果知道自己参与了一项研究,就会改变自己的行为。这对所有类型的干预性试验都是一个难题。 ## **消除混杂** 至此,我们关于熟练助产影响的简单问题似乎几乎无法回答。但问题并非在于问题本身的固有复杂性,而在于随机对照试验视角的局限性。 毕竟,在埃塞俄比亚,已经有大量妇女分娩时有或没有熟练卫生工作者协助,她们的孩子也接种或未接种DPT疫苗。我们只需要问问她们。或者更好的是,我们不需要问,因为其他研究人员已经通过一个名为“行动绩效监测”的全球项目进行了数据收集。利用这些数据,我们可以比较有助产协助和没有助产协助的婴儿的疫苗接种率。 当然,这样做的麻烦在于混杂因素。简单的比较可能通过多种方式产生误导。例如,受过教育的女性更有可能决定在医疗机构分娩(干预措施),也更有可能让她的婴儿接种疫苗(结果)。换句话说,更好的结果可能并非由于熟练助产,而是因为像教育这样的相关变量。 混杂常被认为具有如此大的破坏性,以至于排除了使用观察性研究作为获取知识途径的可能性。在一次由一本著名公共卫生期刊编辑所做的演讲中,我惊讶地发现他们通常会彻底舍弃基于观察性证据的论文。我怀疑在决策制定等机构中情况也大致如此,这些机构需要在更少的科学背景下做出更快速的决策。 我认为混杂并不像人们普遍认为的那样具有威胁性。从1962年到1970年,当医学中随机对照试验的证据标准定型时,支持随机对照试验是有意义的。然而,自那以后,一些因素发生了变化,有利于观察性证据。我们现在有了更好的方法、更多的数据以及更快的计算机

相似文章

干预的幻象:你的LLM模拟实验其实是一项观察性研究

arXiv cs.CL

来自Google DeepMind和卡内基梅隆大学的这篇论文指出,由于用户漂移(模拟人群随干预措施而变化),LLM模拟实验实际上属于观察性研究。作者提出使用阴性对照结果来诊断混杂,并表明引出与情境相关的混杂因素可以减少偏差。

基于证据的LLM信念用于持续科学发现

arXiv cs.AI

本文通过引入基于证据的非平稳信念,解决了基于LLM的科学发现中静态惊奇度的局限性,并提出了信念更新过滤和多样性最大化来改进发现,在五个领域实现了30.62%更高的非平稳惊奇度。

ScientistOne:通过 Chain-of-Evidence 实现人类级自主研究

arXiv cs.AI

ScientistOne 引入了 Chain-of-Evidence,这是一个面向自主研究代理的可验证性框架,确保每个声明都可追溯到证据来源。该框架实现了零幻觉引用、完美的分数验证,并在 75 篇论文中达到了最高的方法-代码对齐度,同时在五个前沿研究任务上达到或超过了人类专家水平。