かたつむりは電子図書館の夢をみるか(はてなブログ版)

かつてはてなダイアリーで更新していた「かたつむりは電子図書館の夢をみるか」ブログの、はてなブログ以降版だよ

医師・医学生の2人に1人は論文の評価にインパクトファクターが有効と回答、5人に1人は「どの論文評価指標も有効ではない」


日経メディカルオンラインに"医師の研究論文を評価する際に適切な指標は? 5人に1人が「どの論文評価指標も有効ではない」"と題して、インパクトファクター、アイゲンファクター、h-index、被引用数等の研究評価指標についてどう考えるかを医師・医学生に尋ねた調査結果について報道されています(最後の方のパラグラフで自分の取材コメントと自分の「薬学図書館」掲載論文*1へのリンクも貼っていただいています、北澤さんあらためましてありがとうございましたm(_ _)m)。

 (本文の閲覧には無料の会員登録が必要です)


これに先駆けてインパクトファクターの功罪やアイゲンファクター、h-indexを紹介する記事も「特集:変わる医学雑誌」の一環として掲載されています。


調査の詳細は最初のリンク先を読んでいただきたいのですが、「Next Doctors」という医師・医学生のコミュニティサイト会員を対象にいくつかの研究評価指標(及び使えそうな指標)を並べて「医師の研究論文を客観的に評価する際に適切な指標」を尋ねるという調査だったそうで。
348人の回答者のうち、185人(53%)が「インパクトファクター」と答えたとのことでした。


記事中でも指摘されていますが、インパクトファクターは「雑誌の」評価のための指標なので論文の評価に使うのは誤用である・・・とは常々指摘されているはずなのですが、さて2人に1人がインパクトファクターを有効と答えたのは多いと見るか、少ないと見るか・・・。


ちなみに選択肢に上がっていたのは

の6つとのこと。
この中で「個別の論文の評価」に使いうるのは「(4)被引用回数」です(「診療ガイドラインでの引用」はどういうものを指すのか畑違いの自分には正確にはわかりかねますが、使える可能性はあると思います)。
記事の中で自分のコメントとして、「選択肢の中で、個々の論文や研究者の評価を目的にしているのは、(2)h指数と(4)被引用回数。」とありますが、正確には「個々の論文や研究者の評価」に使えるのは「被引用回数」だけで、h指数は研究者の評価には使えますが「個々の論文」の評価には使いようがないです(定義上、論文1本でh指数を計算すれば0か1になります)。


インパクトファクター、アイゲンファクターはいずれも雑誌の評価指標で、かつインパクトファクターは論文数を勘案しているのに対しアイゲンファクターは論文数を勘案しない(基本的には規模が大きければ有利)指標であるのでこの2つも全く並列に比べられるものではありません。


その他、各指標の解説等については記事中でリンクも貼っていただいている自分の論文やその引用先も参考にしていただければ幸いです(宣伝)。


ただ、どれが使えるかという話はさておき、個人的に一番プッシュしたい回答はこの中ならば「(6)どの指標も有効ではない」です。
回答者の5人に1人がこの選択肢を選んだ、と言うのは多いと見るか少ないと見るかは難しいところですが・・・(他の同様の調査を見たことがないので)


件の論文中でも述べ、記事中のコメントでも繰り返していますが、どんな指標であれまずはそれを使う目的をはっきりさせ、その際に測りたいものにあわせて使うものを選ばないと、「なんか評価には○○って指標が使えるらしい」ということだけで指標を選んで使っていては無益なばかりかむしろ(これも記事中、自由回答として挙げられているように)「ポイント稼ぎのため」に迷走するようなことになりかねません。
その点で、「なんのための評価」なのかがはっきりしない今回の質問では「どの指標も有効ではない」が適切かな、と。


それにしても取材の際に詳しく資料を見させていただいたのですが、なかなか興味深い調査でした。
同様の調査を医師・臨床医学関係以外の分野でやったらどうなるか・・・って言うのを比べて見られるとさらに面白そうですね。
まず間違いなく人文系では「どの指標も〜」が多くなるだろうとして、STM系で各々の分野の研究者がどう考えているかは分野の傾向を知る上でも参考になりそうです。