科学研究的复制成功与研究方法,引文影响和社交媒体报道有关 - 但与大学声望或引文数量无关 - 根据一项涉及UCL研究人员的新研究。
该研究发表在《美国国家科学院院刊》(PNAS)上,探讨了经过验证的基于文本的机器学习模型预测自14年以来在六家顶级期刊上发表的100,2000多篇心理学研究文章成功复制的可能性的能力。
该研究与法国圣母大学和美国西北大学合作进行,确定了增加研究可重复性可能性的几个因素 - 也就是说,如果使用相同的方法进行第二次研究,结果将是相同的。
总体而言,作者发现实验研究在心理学所有子领域的可复制性明显低于非实验研究。作者发现,非实验性论文的平均复制分数(复制成功的相对可能性)为0.50,而实验论文为0.39,这意味着非实验性论文的可重复性约为1.3倍。
作者说,这一发现令人担忧,因为心理学强大的科学声誉至少部分建立在它对实验的熟练程度上。
该研究还表明,作者的累计发表数量和引用影响与复制成功呈正相关。然而,研究质量和严谨性的其他代理,如作者的大学声望和论文的引用,被发现与可复制性无关。
预测的复制率也因心理学子领域(临床心理学、认知心理学、发展心理学、组织心理学、人格心理学和社会心理学)而异。作者的结论是,由于心理学及其子领域的这种差异,使用单一指标来表征整个领域的可复制性可能是不够的。
该研究还确定了与复制可能性呈负相关的因素,媒体关注与复制成功呈负相关。作者推测,这可能是由于媒体更有可能报道不寻常或意外的发现。
作者说,这项研究可能有助于解决人们对社会科学,特别是心理学中可复制性弱的广泛担忧,并加强整个领域。
该研究的共同作者Youyou Wu博士(IOE,伦敦大学学院教育与社会学院)说:“可复制性是整个社会科学,特别是心理学面临的一个问题 - 鉴于时间和资源的限制,手动重复研究的数量远远低于科学界希望看到复制的重要研究的丰富程度。
“我们的研究结果可以帮助制定新的策略来测试科学文献的整体可复制性,在期刊提交之前进行自我评估研究,以及培训同行评审员。