显著性统计检验是“关于世界如何不是XXX”(排除作用),而不是“关于世界如何是XXX”!
“统计意义上的显著性”只能起到排除某种可能的作用,就是能想到所有的可能,也不等于得到因果确定性,因为有的可能性不是你能想象到的,“排除”是属于“无以为用”,“有以为利”必须有显著非凡的证据,明显的因果关系。
排除相关性比证明相关性还要不可靠,当然,有弱相关性不如强相关性,强相关性不如因果性。
但是,人类对确定性的渴望推动了追求“统计意义显著性”这场学术造假运动。
由于缺乏统一的理论来构建可检验的预测,研究心智和其他人类相关课题的科学家们聚集在一个统计程序周围。重复这一过程会让人产生一种虚假但却令人欣慰的感觉,认为自己找到了真理。这种方法被正式称为 "零假设显著性检验"(null hypothesis significance testing),假定一个零假设(实验组之间在相关指标上没有差异或没有相关性),如果观察数据的 P 值小于 5% (P < .05),则拒绝该假设。
问题在于,一味地执行这一程序,研究人员就不必发展能够做出具体、可证伪预测的理论,而后者正是良好科学的基本要素。
它只是提供了一个机会,让我们去猜测为什么会出现这样的效果。
《思想者》案例
2012 年发表在《科学》杂志上的一项研究得出结论,志愿者在观看了奥古斯特-罗丹的雕像《思想者》的照片后,宗教信仰水平有所下降,这与心理反思会导致人们质疑自己对超自然实体的信仰这一观点是一致的。在这项研究中,假定著名雕塑对观众的精神信仰没有影响,零假设预测志愿者在观看《思想者》后的宗教信仰平均保持不变。
零假设要求研究人员计算,在瞻仰雕像前后,宗教信仰的群体差异是否会在 20 次试验中偶然出现不超过 1 次,或不超过 5% 的情况下出现。这就是 P < .05 的意思。达到这个临界值,结果就被贴上了统计学意义显著的标签,而不可能仅仅是偶然因素造成的。
如果这听起来很合理,请稍等一下。即使达到了任意设定的 5% 的统计显著性阈值,这项研究也没有证明雕像观众正在失去他们的信仰。研究人员只能猜测为什么会出现这种情况,因为无效仪式迫使他们假设没有影响。这就是兜圈子。
更重要的是,《思想者》杂志的一项独立重做研究发现,《思想者》雕像的观众的宗教信仰在统计学上并没有显著下降。统计意义上的显著结果经常得不到证实,这引发了科学界的信任危机,因为他们坚持认为研究结果是无效的(SN: 8/27/18)。
现在,一些期刊要求研究人员在提交研究论文供同行评审之前,交出他们的研究设计和实验数据。这样做的目的是阻止数据造假,提高发表可被其他研究人员证实的结果的几率。
但是,至今,在统计显著性中寻找真理的幻想仍然吸引着许多领域的研究人员。医学领域的饮食与健康的人群调查性报告充斥着这种#确认偏见。
“只有少数人知道,一个人必须知道多少才能知道自己知道的有多少。“ --维尔纳·海森堡(1901 - 1976)
“渴望确定性的人渴望谎言”