P<0.05真的过时了吗?

许多学科中都通过P值判断研究结果的意义。

P值代表当原假设为真时所得到的样本观察结果或更极端结果出现的概率。

如果P值很小,说明原假设情况的发生概率很小;P值越小,我们拒绝原假设的理由越充分。总之,P值越小,表明结果越显著。

但是近年来,越来越多的研究人员担心,0.05阈值已经导致文献中出现了太多的假阳性结果。

更有甚者,很多研究人员并不首先创建假设,而是直接收集数据进行试验,然后在具有统计学意义的结果中寻找规律。

因此,2017年7月22日在Nature Human Behavior发表的一篇文献中,研究人员提出,在社会和生物医学科学领域,P值阈值应该降低到0.005。

 

为什么选择0.005?

科学家们提出0.005,有两个原因。

首先,0.005的双侧P值对应的贝叶斯因子大约在14~26之间,代表“充分”或“强”的证据。

第二,在许多领域,P<0.005这一标准可将假阳性率降低至合理的水平。

P值阈值、影响力和假阳性之间的相关性

 

这篇文章的共同作者之一,南加利福尼亚大学洛杉矶分校的经济学家Daniel Benjamin表示:“研究人员根本没有意识到,P值为0.05时证据的薄弱性。”他认为,P值介于0.05~0.005之间的结果应被视为“暗示性证据”,而不是确认结果。

增大研究的样本量,以降低假阴性率

 

降低P值阈值的一个问题是会增加假阴性的可能性——即在结果真实存在的情况下,认为其不存在。

那么到底该如何解决这个问题,下面来听听专家怎么说:

 

荷兰格罗宁根大学,心理学和统计学研究员

Casper Albers:

为了解决这个问题,研究人员需要将样本量增加70%,这样在避免假阴性率上升的同时,还能大大降低假阳性率。不过,只有资金充足的科学家才有办法做到这一点。 

芝加哥伊利诺伊理工学院,计算机科学家

Shlomo Argamon:

这个问题没有简单的答案,只有作出更加根本的改变,如新的方法学标准和研究激励措施,才可能得出一个具有统计学意义的结果。 

英国雷丁大学,认知神经科学家

Tom Johnstone:

降低P值阈值也可能增加“文件抽屉问题”,其中阴性结果的研究不能发表。 
德国农工大学,统计学家

Valen Johnson:

不是所有学者都具有进行贝叶斯检验的经验,P值仍然可以用于评估原假设是否可以得到证据的支持,「P值生来本无错」。 

信息来源

1.http://www.nature.com/news/big-names-in-statistics-want-to-shake-up-much-maligned-p-value-1.22375

2.https://osf.io/preprints/psyarxiv/mky9j

发表评论

邮箱地址不会被公开。 必填项已用*标注