The mismeasurement of science
Peter A. Lawrence
Current Biology Volume 17, Issue 15, 7 August 2007, Pages R583-R585
http://dx.doi.org/10.1016/j.cub.2007.06.014
Peter Lawrenceはたびたび生命科学の研究と研究者のあり方に対する論評を書いている。これはその最新版。論旨はこれまで通り一貫していて科学研究の評価システムが論文のインパクト（というか発表された雑誌のインパクトＦ）に左右されており、論文自身の価値を正当に量るものとは限らない。科学者はいわゆるビッグジャーナルと戦うために策を弄し、消耗して貴重な時間をかえって無駄にしている、というもの。
目新しい指摘は彼自身の論文を引用した４０本あまりの論文を解析してその大半は原論文の内容を正確には把握せず（読まずに？）に安易に引用しているとしたものだ。ここからは私の意見だがある仕事を発表する際にはその分野の現況を把握することは大事で、その道の権威者や重要論文は万遍なく引いて誰が査読しようとも不興を買うことの無いように「気配り」をすることが大切だとされている。そのためにろくに読みもせずに権威者の一人であるPeterの論文は自動的に引用されるいうことだ。
そのほかインパクトファクターに頼ることの空虚さとそれに踊らされる研究者と評価システムの問題を指摘している点はいつもどうりだ。私は基本的に彼の研究スタイルはとても好きで彼の青臭い潔癖さにも共感するものだ。しかしそんなPeterでさえ評価する立場に立てば保守的なスタンスに重心が移ることもある。また彼が長年editorを務める雑誌でも最近の傾向はビッグジャーナルを目指しているのでは無いかと疑わせる編集方針で、Peterの意見でも動かしがたい面がある。この点について彼に意見を述べたことがあるが答えは「オレも苦労してるんだよ」というものだった。そんな批判を常に浴びている彼の返答が今回の論説なのかもしれない。
で、どうすれば現状が変わるのかに関しての提案は残念ながら乏しくPeterがいうのは科学者自身が厳しい規律を保てという精神的なレベルのものにとどまっている。これだけでは研究費とポスト不足にあえぐ研究者には霞を食って暮らせというようなものだ。
自分なりに考えていることはまだうまくまとまらないのだが問題の根本は以下のような事だろう。
事前評価か事後評価か？
現在の研究評価システムは発表された時点でそのジャーナルの持つステータスで評価がある程度定まる。これは論文の審査過程で厳しい審査がなされ狭い門をくぐって来たという認識があるからだ。しかし審査といってもエディター プラス ２−４名のレフェリーで当たりはずれはある。大半は「運悪く」はじかれるのだがたまに審査者の期待に添った「待ち望まれた」論文が通ることがある。それ自身は一定の頻度で起こることは会って良いのだが問題は発表された後で問題が出て来た仕事を正当に評価するシステムが無いことだ。明らかな捏造、誤りが証明されない限りは論文は撤回される事は無くそれに費やす作業は膨大でストレスフルな事からよっぽどなケースでないと撤回はあり得ない。
論文の真価が問われるのは実は公表された後で多数の専門家が追試、検討を加えてその仕事の再現性と価値が試される時だ。少数の人間による査読システムと、多数の専門家による追試システムとでどちらに信用がおけるかは後者であることはあきらかだ。しかし追試の結果が公表されるのは新たな論文になる１−２年経ってからだ。また追試できない、という結果を発表する媒体は多くなくあったとしても眼につきにくいジャーナルであることで根が底部な評価は個人的なゴシップ以上には伝わりにくいものだ。こうやっていったんでてしまった結果を正す機会は極めて限定されている。
よりすぐれた検索システムを求めて
一部の著名ジャーナルが偏重される理由は一定の質が保証されていて、なおかつ比較的少数の雑誌をチェックするだけでその分野の動向が把握できるからである。世の中には膨大な数のジャーナルに論文が常に発表されている。その全てをチェックする事は誰にもできないだろう。なので原論文は一部の雑誌のみに限り他はレビュー誌の評価を待つということになる。ここにバイアスの生ずる余地がある。現在はpubmedやGoogle Scholarなどがあるがまだそれでも良い、重要な論文をくまなくチェックするのは相当な労力を必要とする。論文の中身にまで立ち入って検索する次世代の検索エンジンの開発が期待される。そのためには出版当初から全文が公開されるオープンアクセスの普及も大事な点だ
より優れた事後評価システムを求めて
追試の論文を書かずとも簡単に既出の論文の評価を公表するシステムが提供されればと思う。はてなの行っているはてなブックマークやはてなスターはそのような点で期待できる試みだ。将来雑誌社のオンライン出版のサイトでこのような「気軽な」評価システムを適用できないものかと思う。もちろん解決しなくてはいけない問題はある。まずジャンクなコメントを排除して本当に責任ある評価だけが記載される資格チェックは必要だろう。また忙しい研究者はのんびりブックマークなんて付けている手間はかけない。何らかの方法で優れた評価者を定期的に参加させる動機付けが必要だ。
とりあえず今回はここまで。
以下続く（いつになるかわからないが）
8/10 AM8:28 誤字を修正
