研究の結果は間違いだらけってホント？（そんなことないですよね？）
Why Most Published Research Findings Are False
John P. A. Ioannidis
PLoS Med 2(8): e124, 2005
http://dx.doi.org/10.1371/journal.pmed.0020124
何とも挑発的なタイトルだ。これが本当だったら研究者としては立つ瀬がない。Faculty of 1000で話題になっていた論説で気になっていたので眼を通す。何とも難解で読みにくく、シミュレーションの数式が適切か否かの判断もできないのだが自分なりの解釈と感想をメモ。
著者はおもに医学におけるassociation studyを対象に議論しているようだ。ある症例の病気に対してこの処置は有効である、とかある形質に対してこの遺伝子座の変異が原因になっている、といった統計的手法で推定される結論を導くタイプの研究の場合、その結論の真偽の境目は不明確だ。著者はそこから踏み込んで「研究結果の報告のほとんどは誤りである」と主張している。
その原因としてあげられているのは、
- 注目を浴びたり社会的な要請の高い場合、結果が真であると期待するバイアスに実験結果と解釈が曲げられてしまう。
- 多数の研究グループがサンプルサイズの小さな（確度の低い）実験結果を積み重ねてしまい誤りが増幅される。
- 実験に先立つ仮説の設定に無理がある。つまり滅多に当たりそうにない大胆な仮説が立てられている。
そして研究結果が真であるためには、
- 仮説の設定をしっかりする。つまり真偽の判断が明確にできるような問題設定と実験計画を立てる。
- 研究費や社会的要請にバイアスされないこと。
しかしこんな扇動的な表題の文書がちゃんと読まれずに政治家やメディアに流されたら私たちはエライ迷惑です。
さすがにこれはまずいと思った人がこんなフォローをしてました。
Most Published Research Findings Are False―But a Little Replication Goes a Long Way
Ramal Moonesinghe*, Muin J. Khoury, A. Cecile J. W. Janssens
PLoS Med 4(2): e28, 2007
http://dx.doi.org/10.1371/journal.pmed.0040028
この趣旨：Ioannidisさんは確度の低い研究結果はバイアスに左右されて誤りが増幅されると言うが、研究の確度が高ければ結論は大丈夫！ということを言いたいようだ。
要するに大勢を追従する態度を改め明確な実験計画を立て、清く正しく研究せよ。ということだと読んだ。なーんだ、数式なんてなくとも良いじゃないの、と思いました。
