科学论文的可复制性、被引用量和创新性的复杂关系


在著名期刊上发表的不准确论文的影响可能会影响几十年。例如,安德鲁·韦克菲尔德于1998年发表在《柳叶刀》上的研究让全世界成千上万的父母反对麻疹、腮腺炎和风疹疫苗,因为疫苗接种和自闭症之间存在隐含的联系。12年后,《柳叶刀》收回了不正确的发现,但自闭症与疫苗有关的说法仍在继续。
科学需要实验证实,实验需要能够被复制重现,但是目前发表的论文有很多不能被别人复制,也就是不能够被重现实验结果。所以,论文不是发表到权威杂志就是真实的,关键还要看是否能被复制,但是调查发现,不能被复制的论文在被引用上反而更多于能被复制的论文,这也是科学界奇观。
调查发现:在顶级心理学、经济和普通科学期刊(《自然》和科学)上发表的论文中:在心理学方面,100个实验中只有39%能被成功复制。在经济学方面,18项研究中有61%是可复制的,21项研究中62%是可复制的。
根据这三个复制项目的发现,使用谷歌学者来测试未能复制的论文在复制项目发布之前和之后,引用频率是否明显高于成功复制的论文。最大的差距是发表在《自然/科学》上的论文:不可复制论文的引用量是可复制论文的300倍。
杂志期刊可能更注重有趣的论文,学术界也是如此。其实这里存在创新悖论,也就是鸡与蛋问题:数据与创新之间有悖论,可证实数据越少,才更有创新性,数据很多很充分,可能就失去创新性。
引用量高可能意味着别人都感兴趣,不一定别人基于他的成果进行进一步推论。
因此在晋升决策中,大多数学术机构在决定是否晋升教授时,将引用量作为重要指标,也表示论文创新性,有些实验不是能立即重现复制,当然也不排除造假。