NatureのNewsで取り上げられた記事についての紹介
Tests for heart-disease risk could be misleading
http://www.nature.com/news/2007/070409/full/070409-4.html
心臓病のリスク要因とされていた遺伝的変異を多くのサンプルを用いて確かめたところ、85箇所について再現性が得られなかった。そのうち少なくとも7つは商業的な試験に持ちいられているものである。
という内容です。
「研究者はネガティブなデータを発表せず、ポジティブなデータを追い求めるために、少なく偏ったサンプルで決定された擬陽性の結果が発表される」といった趣旨の面白いコメントもあります。
もちろん、いい加減な解析しか行われていない研究は多々あります。しかし、理想的なデータを得ることがどれほど難しいかということは研究者自身が一番よくわかっています。特に心臓疾患は様々な遺伝的要因が絡み合って起こることが多いですから解釈は難しいです。「あなたはこの遺伝子を持っている人より3%心臓病になる確率が高い」と医者に言われるとショックかもしれませんが、人生設計に影響を与えるほどの違いはないと僕は思います。
さて、間違った因子同定の原因は何か。ここではサンプルサイズの大きさが一番の要因として取り上げられていますが、実際には様々な原因が関係します。面白いものを取り上げてみましょう。
まずは研究者の数。
自然科学の検定法では、5%の棄却水準を採用することが多くあります。つまり、「100回やって偶然では5回以下しか起こらないようなことが観察できたら、観察結果は偶然ではないだろう」と結論付けることです。
確かに100回に5回以下しか起こらないことを観察できた研究者は興奮します。しかし、逆に言うと、同じ実験を行っている研究者が100人いたら、たとえデータがデタラメでも、5人は偶然ではない結果を見つける（見つけたと思い込む）でしょう。例えば、コインを10枚投げて全部同じ面が出る確率は約1/500です。これはめったに起こりませんが、500人が同時にコインを投げたら一人くらい出てきてもおかしくありません。
荒っぽく言うと、「論文が100本あったらそのうち5本は疑え」、ということです。ただし、上のコインの問題を考えればわかりますが、500人に投げさせても一人も全部同じ面が出ないかもしれないですし、5人が出るかもしれません。このような確率をあらかじめ計算しておかなければいけません。
もちろん、一つの結論を導くために幾つかの方法で検証すれば、間違いの確率は減っていきますので、そのような論文は信頼度が高いとされます。
このような影響は、研究が盛んに行われている分野ほど大きいでしょう。論文に出た1本の陰に隠れて、ネガティブなデータしか出ない研究者が1000人はいるのですから。
工業的には抜き取り検査というものがしばしば行われます。工場で作った製品のうち、いくつかを抜き出して不良品をチェックするものです。工業製品にはより厳密なチェックが必要です。ネジ一つが不良であるために使用者に深刻なダメージを負わせるかもしれません。検出力と検査の手間はトレードオフの関係にあります。念入りにすべての製品をチェックするとコストがかかりすぎますし、不良品が多すぎても消費者からのクレームがきます。このようにして製品の品質をコントロールしていかなければなりません。
生物学でも、検出力の問題は重要です。ただし、工業製品と違って、すべての研究結果の質を均一に保つことは難しいでしょう。研究者にできることは、より偏りの少ないデータを使って、より詳細な考察結果を加えることにつきます。そのための知識は必要でしょう。客観的なデータさえつけておけば、後の人が別の解釈をすることもできます。上に挙げた擬陽性率などは、その後の応用にも非常に有用なものになるでしょう。
つづく...
