黃浥暐
新訊快遞*
荷蘭皇家藝術與科學學院(Royal Netherlands Academy of Arts and Sciences, KNAW)針對近年來科學研究的「再現性危機」,即許多已發表的論文成果無法被複製、重現,特別是在生醫及心理學領域,在2018年1月15日發布了一份報告,認為目前執行科學研究和出版論文的方式須進行根本性的變革,並呼籲科學家、大學、資助機構和學術期刊必須正視此議題並共同努力,以確保科學研究的品質與公信力。報告中提出的具體作法包括:研究機構應更加重視研究設計和統計分析的培訓,並教導科學家進行複製性研究(replication study);期刊應要求作者在研究完成前提交「註冊報告」(Registered Report),以便在研究進行前確認其研究和分析方法之嚴謹度,並鼓勵科學家將研究方法和數據儲存在線上資料庫中,以幫助其他團隊重複實驗;此外,期刊和資助機構應改變論文出版和經費授予的獎勵機制,應更加重視並鼓勵複製性研究,而不僅是獨厚創新方法或新穎發現。
貳、評析
現有的科學知識是建築於無數個發表的研究成果之上,但近年來,從生命科學、醫學、心理學以至於其他領域學科,都產生了許多發表的研究成果無法被他人再現的窘況,不但阻礙了科學的進展、造成研究資源的浪費,更可能使病人投入無效的治療甚至危害生命。根據KNAW報告中的定義,「複製性研究」(replication study)指試圖對已發表的研究結果進行複製,以相似的實驗方法在相似的條件下進行的獨立性研究,以驗證該研究結果能否再次重現;研究的「再現性」(reproducibility),則用來描述複製性研究的結果與過去的研究符合的程度[1],若兩者得出的相同的結論,即表示該研究結果可被重現、具有較高的可信度。
低於預期的再現率
針對科學論文再現性執行的研究並不多,但現存少數的分析結果皆不容樂觀。舉例來說,2015年Nature發布的報告指出,心理學研究中有逾半數論文結果無法再現(再現率:39%)[2]。而在癌症藥物的臨床前研究中,53篇文章就有47篇結果無法再現(再現率:11%)[3]。另外,Nature雜誌在2016年對1500 位研究人員進行問券調查,結果發現有超過70% 的人表示曾經無法複製其他研究人員的研究結果,甚至有50%以上的人曾無法重複自己的研究結果,但僅有低於 20% 的受訪者表示曾被其他研究團隊聯繫、討論其成果無法被重現的問題[4]。這顯示了學術論文的再現性雖是相當普遍的問題,但多數人選擇不去揭開瘡疤。
阻礙、困境與解決方法
複製性研究對於驗證研究成果的可信度是相當重要的,也是確認再現性的必要手段,但許多原始論文中並未詳盡敘述研究的方法,使嘗試複製其研究的科學家不得其門而入,甚或原始論文本身的研究或分析方法即具有瑕疵,造成成果無法被重現。此外,對許多研究者而言缺乏重複他人實驗的誘因,因複製性研究不具有創新性,較難取得研究經費及發表高點值論文。從政府、私人資助機構以至於期刊,皆有偏好新奇、完美研究成果的傾向,為了取得漂亮的數據並搶先發表論文,方法與過程的嚴謹性反而受到忽略,但在生醫領域的研究中,不完美往往才是真實的結果。荷蘭皇家藝術與科學學院提出了以下建議,希望解決目前的困境:
一、 改良研究方法:研究者須以增進研究的再現性為目標執行嚴謹的實驗設計,並使用正確的統計與分析方法;研究機構也應據此提供研究者必要的訓練與支援。
二、 註冊報告:期刊應該要求作者提前註冊報告,並鼓勵科學家將研究方法和數據儲存在線上資料庫中以幫助其他團隊複製實驗。註冊報告即在允許作者在做實驗之前就向期刊提交他們提出的假設和實驗設計以供同行審核,通過審核的報告就可以被「原則上接受」(Accepted-in-principle),若能在實際執行的過程中依照註冊報告描述的方法進行,文章就可保證在第二輪同行審核後被發表,無論研究結果是否正面且具有重大意義[5]。
三、 改變獎勵機制:期刊和資助機構應該考慮研究的嚴謹性,而不僅是獎勵創新方法或新穎發現。部分研究經費最終應使用於重複性的研究上,期刊也應提供更多空間發表複製性研究和無效結果。
除了KNAW今年發表的建議報告,荷蘭科學研究組織(Dutch Organization for Scientific Research)亦於2017年啟動了一項300萬歐元基金的計畫,專門用於進行複製性研究,並於同年七月宣布了前九個資助的研究項目;這些研究主要目標為驗證在該領域中具有重大影響力、但卻具有部分疑慮的過去論文之真實性,例如使用電子菸對於青少年往後吸菸的影響[6]。荷蘭政府的種種努力及做法值得其他國家學習與效法,在充斥著各式半真半假資訊的年代,科學是否能繼續做為指引正確道路的明燈?以更多的重複性研究確認論文成果的可再現性將是關鍵。從政府、學術機構、期刊以至第一線的研究人員都應正視此再現性危機,共同努力以維護學術研究長遠的品質與公信力。
參、延伸閱讀
- 張仁和,無法複製是理論的終點,抑或起點?本土心理學研究,2012年12月,總號:38,157-165頁
註釋
- Matt Warren, Make replication studies ‘a normal and essential part of science,’ Dutch science academy says, Science/news. http://www.sciencemag.org/news/2018/01/make-replication-studies-normal-and-essential-part-science-dutch-science-academy-says (last visited June 10, 2018). 返回內文
- 2018 Royal Netherlands Academy of Arts and Sciences (KNAW), Replication Studies Improving Reproducibility In The Empirical Sciences. 返回內文
- Monya Baker, Over half of psychology studies fail reproducibility test, Nature/News. doi:10.1038/nature.2015.18248. (last visited June. 13, 2018)https://www.nature.com/news/over-half-of-psychology-studies-fail-reproducibility-test-1.18248 返回內文
- Florian Prinz et al. Believe it or not: how much can we rely on published data on potential drug targets? Nature Reviews Drug Discovery, volume 10, page 712 (2011) https://www.nature.com/articles/483531a#t1 返回內文
- Monya Baker, 1,500 scientists lift the lid on reproducibility. Nature 533, 452–454 (26 May 2016) doi:10.1038/533452a https://www.nature.com/news/1-500-scientists-lift-the-lid-on-reproducibility-1.19970 返回內文
- Elisabeth Pain, Register your study as a new publication option, Science/News. doi:10.1126/science.caredit.a1500282 (last visited June. 13, 2018) http://www.sciencemag.org/careers/2015/12/register-your-study-new-publication-option 返回內文
- Jop de Vrieze, ‘Replication grants’ will allow researchers to repeat nine influential studies that still raise questions, Science/News. doi:10.1126/science.aan7085 (last visited June. 13, 2018) http://www.sciencemag.org/news/2017/07/replication-grants-will-allow-researchers-repeat-nine-influential-studies-still-raise 返回內文