辟谣

一看就不靠谱的“钓鱼”研究,为什么骗倒了那么多人?

字号+游识猷 来源:果壳网 2016-06-03 11:02 我要评论() 收藏成功收藏本文

约翰•博安农(John Bohannon)又干了桩大件事。 

(在你问他是谁之前)博安农是牛津大学的分子生物学博士,Science和Wired的撰稿人,也是个脑洞很大的奇葩。他的个人网站列出了他曾干过的一些大事——以“实验”和“结果”的形式。

实验

 

结果

追着一个女生去了牛津。                 

 

和女生分手了。但拿到了牛津的博士学位。

跟Science合作,举办每年一届的“跳出你的博士课题”( Dance Your Ph.D.)舞蹈大赛                   

 

 在2012年的TED大会上公开演出,同时呼吁大家用舞蹈取代PPT,以此增加艺术家的就业率,并降低无聊会议造成的经济损失。

就“人在盲测时无法辨别午餐肉罐头和罐装狗粮因为它们的成分和制造工序太近似了”这个题目写了一篇论文。  

 

导致著名脱口秀主持人斯蒂芬•科尔伯特 ( Stephen Colbert )在电视上吃了一罐猫粮。                    

写了剧本《绿野交锋》(Green Porno),讲述了蜜蜂鸭子蜗牛海豚等动物的奇异性生活,著名女演员伊莎贝拉•罗西里尼(Isabella Rossellini)倾情出演…… 

 

导致另一位著名脱口秀主持人囧司徒(Jon Stewart)在他的每日秀上分享了自己对臭虫的恐惧。                                                      

研究了来自Google Book的1500万本书籍的数据,分析所有书中都提到了哪些科学家、一共提了多少次。                                                                                                                                                            

 

 搞出了科学家名人堂(The Science Hall of Fame),以达尔文在英文书中被提到的频率的千分之一为单位(mD),就可以衡量科学家的知名度了——比如说,爱因斯坦是878mD,居里夫人则是189mD。

从Sci-Hub那里取得了全世界2800万次下载记录  

 

 写出了《谁在下载盗版文献?每个人》

化名为来自非洲厄立特里亚国的生物学家Ocorrafoo Cobange,向304家开放获取期刊(OA)投了自己随便瞎编,一看就错漏百出的论文。 

 

157家期刊同意发表……接收率51.6%。说好的“坚持严格的同行评议制度”呢?!                              

 

壮阔的人生,大写的服气。图片来源:pffanon.wikia.com

所以,他这次又干了什么呢?

亲手打造“垃圾”研究:黑巧克力能减肥?

事情的起因是这样的。2014年,两位德国电视记者,彼得•翁嫩肯(Peter Onneken.)和黛安娜•勒布尔(Diana Löbl),想拍个关于减肥食品业界的纪录片。

翁嫩肯研读了欧洲的S3膳食指南,发现许多制定指南的专家受雇于减肥公司或食品公司,并在指南中推荐雇主的特定膳食。他们私下联系了其中的几位专家,有人承认某些研究做得不够好——这有点太轻描淡写了,翁嫩肯觉得有些研究简直就是垃圾。而这些垃圾研究被冠以科学之名,登上媒体头条,在全世界广为传播,然后一些奇怪的膳食就能大卖特卖……

于是,翁嫩肯就找到了博安农商量:单纯揭露批判,总觉得力度不够,不如我们按照这些套路,自己动手搞个垃圾膳食研究?

这种闷声发大招,搞个大新闻的事情,博安农最擅长了! 

说干就干,步骤如下——

1. 选择研究题目。

翁嫩肯本来想搞个“啤酒有益身心”的研究。然而,他们的纪录片计划在德法两国播放,而法国对于电视上播放的喝酒内容,有很多法律规定……于是啤酒出局。

冈特•弗兰克(Gunter Frank) 医生是这次“研究”的主持者,他提出了一个新的“研究结论”——黑巧克力有助减肥。弗兰克说,人们对于难吃的东西有种朴素的信仰,总觉得好吃的就是垃圾食品,难吃的就是自然灵药……其实很多时候,苦味预示着有毒啊!演化给的自保本能,就这样轻易地丢掉真的好吗?

不管怎么说,“黑巧克力很苦很难吃,所以它肯定对健康有益”,嘛,就这么愉快地决定了!

“既然对身体有益,不如把这些都吃了吧……”图片来源:blog.mountsinai.org

2.收集数据。

这帮人在Facebook上发了个广告,“吃三周指定饮食,赚150欧元”,并征来了15个志愿者——本来是16人,后来有一个中途退出的。然后把这15人随机分三组。对照组继续正常饮食,试验组I吃低碳水化合物饮食,试验组II吃同样的低碳水化合物饮食外加每天一条1.5盎司(约合45克)的81%的黑巧克力。

3.统计分析

他们找了个金融分析师朋友亚历克斯(Alex Droste-Haars)来分析数据,分析师喝着啤酒干了一个周末,发现数据简!直!完!美!

对照组体重基本不变,两个试验组平均体重都轻了5磅(2千克左右),经统计检验,差别显著。而且黑巧克力组的减肥速度还快了10%,此外,黑巧克力组的健康自评分数更高。

4.写论文,投论文。

还记得博安农化身非洲学者一口气投中了157篇论文那次么?在挑选野鸡期刊上,他可有独到的一手心得。总之,他化名约翰尼斯•博安农(Johannes Bohannon)投了20家期刊,在24小时内就接到一大堆录用通知。在这些表示“这文章我收了”的期刊中,博安农选中了《全球医学研究期刊》(Global Journal of Medical Research),给该刊交了600欧元的版面费,不到两周后,搞定!

总之,论文搞定。

5.让媒体报道

一开始博安农是比较悲观的。他想,记者只要随便Google一下,就会发现论文作者所在单位“饮食与健康研究大学”(University Institute of Diet and Health)根本就不存在……记者再找个靠谱的科学家读一遍论文,就会发现结论根本站不住脚。

一个公关业的朋友告诉博安农,其实没那么难。抓住一点关键就行——记者都懒。只要你替记者把该写的东西都写好,记者们就会自动开始复制黏贴,最后发出来一篇和你的原稿八九不离十的东西。

博安农于是写了一篇给媒体专用的“新闻发布稿”,放上了大部分数据——有意没提样本数等“小瑕疵”。记者即使不读原始论文,读完这篇稿子也能动笔写了。

他还找音乐人拍了两条MV,一个男声说唱版,一个女声民谣版,主题都是《巧克力变身》(The Chocolate Transformation)——还记得吗,这家伙是“跳出你的PhD”舞蹈大赛的组织者。

躺在上面穿蓝衣那厮就是博安农。图片来源:www.johnbohannon.org

万事俱备,只欠鱼群。

欧洲发行量最大的报纸——德国图画报(Bild)是第一条上钩的鱼,他们发表了《吃巧克力能保持身材纤细》。

没多久,印度、爱尔兰、美国、澳大利亚的多家媒体都报道了这一“发现”,其中不乏赫芬顿邮报这样的大媒体。

刊登了“巧克力减肥”的部分媒体截图。图片来源:io9.gizmodo.com

写稿的记者,大部分压根就没联系博安农这个“论文作者”。有些联系了,但问的也只是“你对我们的读者有何建议”之类。没人质疑样本数,没人去找其他科学家来评论这个研究。最令博安农痛心的是,没有一篇报道放了他精心拍摄的那两条音乐录影带!

嘛……毕竟其他人都是正常人……

猜您一定常听到这句话。 图片来源:media.giphy.com

坏科学的危害,在于用真实数据说谎

博安农的垃圾科学究竟为什么钓到了那么多鱼?人们常说,最厉害的谎言就是99句真话里掺一句谎言,但其实现在的谎言更上层楼:通过99个事实得出一个结论,最后的结论偏偏不是真实。坏科学的杀伤力恰恰就在于此。

博安农骗过期刊又骗过媒体的第一个秘密是统计分析。

宏观经济学里有个古德哈特定律(Goodhart's law),一项指标一旦成为政策制定的依据,便会立刻丧失其原有的信息价值。统计学的p值也是如此,这原本是一个用来衡量“某命题是否很可能为真”的指标,但随着p值成为发表论文的“快捷通道”,很多人便开始改动实验设计、删改实验数据、重复多次实验——只为一个小于0.05的p值。

当博安农自己揭露这个骗局时,他写道:“一条肮脏的科学小秘密:假如你在一小群人身上测量一大堆数据,你基本上肯定能得到‘统计上显著’的结果。我们给15个人测了18项指标——体重、胆固醇水平、钠、血中的蛋白水平、睡眠质量、总体健康状况等等。这样的研究设计,就是得到假阳性结果的秘诀。”

“我们其实不知道会出现怎样的结果——完全可能是巧克力改进睡眠、巧克力降低血压——但我们知道,我们有很大机会(>60%)至少拿到一个‘统计上显著’(也就是p<0.05)的结果。”

哥伦比亚大学的统计学教授安德鲁•杰尔曼(Andrew Gelman)认为,博安农还估低了,因为他只把测量18项指标当成18个单独的测试来算。事实上,任何两项指标都可以被拿出来比较,还可以单看某个分组的各项指标,考察指标之间的相互作用……这样的多重比较,让拿到‘统计上显著’的几率远不止60%。

世上无难事,只怕统计学……图片来源:xkcd

第二个秘密则藏在样本数量里。

博安农自己写道,“我们的研究注定不靠谱,原因就在于样本数量太少,这就放大了不可控因素的影响。举个例子,女性在月经周期中体重波动就可以高达两千克,这就已经远超过我们那两个试验组之间的体重差异了。正是因此,才需要很多人的大样本,还要平衡好不同组里的年龄和性别组成(我们当然没理这事)。”

忽然想起了塞拉利尼的“转基因玉米致癌”论文:同样发表在名声一般的开放获取期刊(OA)上,同样是样本量小而分组多——能不能少一点统计套路,多一份科研真诚?

博安农还写,“幸运的是,在这些问题上,科学家们变得越来越明智了。有些期刊正试着慢慢淘汰p值检验,推动科学家养成更好的习惯。现在几乎没人会正眼看样本量低于30的研究。知名期刊的编辑都懒得把这样的稿子送审,直接就会拒掉。但是,也有很多期刊比起声誉,更看重金钱。”

顺便说一句,在博安农的“自杀式袭击”公开后,登他论文的那家活该倒霉的期刊出

 

每日一笑

大学时的一个女同学突然来找我,说要我做她男朋友!可是这位女同学长的十分难看,我想我要是和她在一起,我晚上肯定会做噩梦,于是我拒绝了她,并替她拦了辆出租车!就在这时,女同学突然红着眼眶哭着说:我有车,不用麻烦你。说完她掏出钥匙走向路边的一辆玛莎拉蒂,我连忙追上去将她抱住,不忍心看女人掉眼泪是我这辈子最大的硬伤!

网友点评