Nature里程碑研究：神经影像数据分析的可重复性问题
在可重复性测试中，来自全球的多个神经影像专家团队被要求独立分析和解释相同的功能磁共振成像数据集。测试结果于2020年5月20日发表在《Nature》，表明每个团队得出的结论都有所不同。 斯坦福大学流行病学家约翰·约阿尼迪斯（John Ioannidis）在邮件中表示：“这是一项具有里程碑意义的研究，清楚地表明了许多科学家的疑虑：神经影像分析得出的结论极易受到调查人员在如何分析数据方面所做的选择的影响。” 约阿尼迪斯是提高科学严谨性和可重复性的著名倡导者，但并未参与这项研究（最近，他在加利福尼亚州进行的SARS-CoV-2抗体血清阳性率研究中，因自己的工作方法不当被指控）。可重复性问题困扰着所有科学领域，并且通过open science部分运行的项目在心理学和癌症领域尤其突出。现在，由于世界各地的神经影像专家开展了一项名为“神经影像分析可重复性和预测研究（NARPS）”的合作项目，神经影像已成为人们关注的焦点。
过去曾批评神经成像，特别是功能性磁共振成像（fMRI），其生成的大脑血流模式可能与神经元活动有关。并未参与这项研究的麦吉尔大学的神经病学家Alain Dagher说：“由于fMRI分析领域广泛存在不当的研究设计和统计方法，以及在已知分析结果之后再提出研究假设等问题，而时常受到诟病。最近有一篇令人难忘的论文显示，如果没有正确的统计学矫正，那么对一条死鱼进行fMRI成像也能发现其明显的大脑活动。”
NARPS论文的共同作者，特拉维夫大学的神经科学家Tom Schonberg解释“也许由于这样的批评，如今的 fMRI领域在统计学和采样规模上都力求更加谨慎。与生物学的许多领域不同，影像分析更依赖客观计算而非人工操作，因此预期会引入较少的偏差。”然而Schonberg对NARPS的结果仍感到有些惊讶，他承认：“看到不同小组对同一批数据处理后的分析结果呈现出如此大的变异性实在有些惊人，但结果确实如此。”
这项由Schonberg与斯坦福大学的心理学家Russell Poldrack和牛津大学的神经影像统计学家Thomas Nichols共同领导的研究，在全球独立招募了研究人员团队，以分析和解释相同的原始神经影像数据（对108名健康成年人做静息态和简单任务态fMRI）。这些独立研究人员不仅可以访问原始图像数据，还可以访问实验设计和协议的全部详细信息。他们被要求检验九种特定的假设，每一种假设都涉及特定大脑区域活动的变化与某个行为是否相关。
Nichols说，参与研究的70个研究团队中的每一个使用了三种不同的影像分析软件（SPM、AFNI、FSL）之一。但是最终结果的变化并不取决于这些软件的选择。事实上，他们在分析中采取了许多步骤，每个步骤都需要人做出决定，例如如何校正受试者头部的运动，如何提高信噪比，应用多少图像平滑度，如何定义大脑解剖区域的严格程度以及要使用的统计方法和阈值。
约阿尼迪斯写道：“关于如何分析这些数据，需要做出太多决策，这70支团队所做的事情并不相同，而且常常得出非常不同的结论，这并不奇怪。”https://mmbiz.qpic.cn/mmbiz_jpg/zib3GLFujsSt2XbDCAdQGlWKHBPDXtNYmSSPEX5UxJEOj6hZjP09eMjskmAjT9UxPP6N9yn3TQ6ibMM0suJTLPsg/640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1
康涅狄格大学神经语言学研究员Roeland Hancock说，这项研究“非常重要”，他领导了70个分析数据团队的其中一个。“这篇文章谈到了可重复性问题以及这种变异性来自何处：我们在分析中所具有的无意识自由度（the unintentional degrees of freedom we have in our analysis）。”
一些结果在很大程度上是一致的。例如，有84％的研究小组认为结果数据支持假设5，该假设将腹侧前额叶皮层活动的下降与金钱的损失（任务）联系在一起。超过90％的团队发现其他三个假设无关紧要。但是对于其余五个假设，研究小组的结论各不相同。
弗吉尼亚大学心理学家，Open science中心执行主任Brian Nosek表示：“这项研究的教训很明确。”他说，为了最大程度地减少不可重复性，分析决定和基础数据的细节必须透明可用，以评估研究声明的可信度。”他补充说，研究人员还应该预先注册他们的研究计划和假设。他们应该使用多种方法来分析数据，例如使用不同的软件和设置。meta分析也将有助于从那些重要程度取决于分析方式的结果中可靠地识别重要结果。
Bennett, Craig M. et al. “Neural Correlates of Interspecies Perspective Taking in the Post-Mortem Atlantic Salmon : An Argument For Proper Multiple Comparisons Correction.” (2010). 2020年1月14日，PLOS宣布PloS ONE将很快提供一种新的预注册文章类型，即Registered Reports。Registered Reports使研究人员可以在开始研究之前，记录并接收有关其研究设计和拟议方法的专家同行评审反馈。PLOS ONE将进行同行评审，并发表作者的初步研究建议以及完整的研究论文，从而形成两个独立出版阶段。
页:
[1]