2007年6月28日木曜日

オープンレビューは何故上手くいってないのか

Natureの記事です。以前PLoS Oneの紹介もしましたが、それら新しいレビューシステムに対するコメント。
http://www.nature.com/nature/journal/v447/n7148/full/4471052d.html
こちらはもう少し前の記事。
http://www.nature.com/nature/peerreview/debate/nature05005.html
簡単なコメントですので、もう少し掘り下げてみます。

現在の論文査読システムは、編集者が論文を受け取ったあと、匿名の査読者数名に論文の査読を頼み、意見を聞いてから論文の受理を決定するというシステムです。

このシステムの欠点を一部あげると、
1. 査読審査に時間がかかる
2. 匿名の査読者が、公開前に論文の内容を知ることになる
3. 匿名の査読者が自分の都合の良い、またはいい加減な評価を下すことがある

ということがあげられるでしょう、ポイントは査読者に全くリスクが無いということです。

そこで考えられたのは、論文をWebで公開して、それに対して非匿名のコメントを集めることによって論文の是非を決めようというものです。これならば投稿後ただちに論文を公開することもできますし、非匿名の査読者が足を引っ張ることもありません。

一見これこそが次世代の論文評価システム、というように聞こえますが、実際に行われた結果は必ずしも上手くいっていません。Natureはオープンレビューのテストを打ち切りましたし、既に発信しているBiololgy DirectやPLoS Oneは論文の数こそ順調なもののコメントはほとんどありません。ただ、査読者のコメントが非匿名で公開されているので、興味を持って深く読む分には読者の助けになるでしょう。両者とも、問題点(1)であげたような、査読のスピードがメリットになる種類の論文よりも、一般の雑誌では採用されにくそうな仮説を立てた論文が多く見受けられます。

問題点はどこにあるか。やはり、自分の名前を晒してコメントをつけたがたる科学者が少ないからでしょう。もともと査読というものから直接的な利益というものは発生せず、完全なボランティアの仕事になります(ただし、悪意を持てば他人の論文を盗むこともできます)。匿名でノーリスクであるのならともかく、リスクを背負ってわざわざ他人の評価などしたくないというのが本音でしょう。自分のコメントが見当違いであった場合には自分の立場すら危うくします。

Natureのケースは更に違う事情があります。論文の公開が受理につながらないので、論文が不採用であった場合には一般に登校中の論文の内容を公開しただけという結果になってしまいます。これは投稿者にとって大きなリスクです。Biology DirectとPLoS Oneの問題は論文の質の維持といえるでしょうが、Natureのケースでは投稿が無くなって終了というのも納得できる結果です。

時間をかけて練った自分の論文ならば公の批判も受けることができますが、他人の論文を読んでコメントするのに地雷を探しながら進むようなマネはしたくないでしょう。口頭で議論をするのと文字として議論が一般に公開されるのとでは、気分は随分違います。これは個人的な意見ですが、政治家は言った言葉を大切にしますが、科学者や文筆を生業とするものは書かれた言葉を大切にします。

捏造を見抜けないシステムであるなど、色々問題点もありますが、なかなか良い代案を得られないのがこの匿名査読者によるレビューシステムのようです。ただ、色々と新しい試みをすることは良いことであります。そのうちすばらしい代案が出てくるのでしょうか。インパクトファクターに追い立てられる毎日の研究生活はできるだけ早く終わって欲しいところです。