h-index V.S. IQp -いやそれ、もうピアレビューで良くないっすか？-
myopenarchive.org - このウェブサイトは販売用です！ - myopenarchive リソースおよび情報に先日、授業で行った発表のスライドを（一部修正して）アップしてみました。
スライドだけで口頭原稿がないのでこの資料だけではわかりづらいと思うので、一応補足。
当日の発表ではこのブログでもたびたび紹介している研究者評価指標、h-indexおよびその派生指標（h-indices）とその特徴、問題点を紹介したうえで、最近h-indexに対抗する指標の一つとしてJASISTに掲載された指標、IQpについて紹介しています。
- IQpの紹介（6/29現在、Wileyのサーバがアクセスできないのでweb版はアクセスできません（汗））*1
h-indexの説明は過去のエントリを参照してもらうとして*2、過去、h-indexに関する批判として挙げられる意見としては
- 論文の本数に値が引きずられる（h-indexの計算式上、例えばh-indexが50になるには最低でも50本以上の発表論文が必要）
- 被引用回数上位の論文は評価に反映されない（同じく計算式上、例えば1位の論文が10000回引用されてようが１億回引用されてようが、被引用10位の論文で被引用回数が10になるならh-indexは10. また、１と合わせて、被引用回数が10000の論文があっても、発表論文数が５本しかないならh-indexは５）
- １により、若手研究者（論文発表本数が少ない）に不利である。また、発表から1-2年の間が最も論文が引用されやすいとはいえ、継続的に引用され続けることもあることを考えれば論文発表から年数が浅いことも若手が不利になることへつながる
- 分野を超えた比較は、分野によって論文引用の慣行が異なるため不可能である（これはh-indexに限らず引用分析全体に通じる）
などがある。
で、これらを克服しようというのがAntonakisらが考案した新指標、IQp（Index of Quality and productivity)なのである。*3
・・・あえて「品質と生産性の指標」という名前にするあたり、h-indexへの対抗意思をぎゅんぎゅんに感じるなぁ・・・（汗）
具体的なIQpの計算式は以下の通りとなる。
- citationsは該当著者の総被引用数
- papersは該当著者の総発表論文数
- ageは該当著者の研究者としての活動年数
- IFはインパクトファクター
- field1,field2,field3はそれぞれIQpを求める著者の１番主となる活動領域、２番目、３番目の領域
式を見ればわかるとおり、IQpはh-indexの肝である「研究者の論文を被引用回数で降順に並びかえる」という計算手法を用いることなく、総被引用回数を用いて生産性と品質を計算することを試みている。
これにより、「被引用回数上位論文が評価に反映されない」とか、「論文数に値が引きずられる」というようなh-indexの問題は生じない。
さらに単にそれを研究者の発表論文数で割る従来の平均被引用回数等の指標と異なり、発表論文数の他に研究者としての活動年数を取り入れることで若手が不利になる、という問題を克服することを試みている。
さらに変数cにおいて「研究者の所属分野ごとのインパクトファクター」を（第１分野〜第３分野それぞれで）計算し、それを計算式に取り込むことで分野によって引用の慣行が異なるので分野を超えた比較はできない、という問題点を克服することも試みている。
割とよく考えられた、丁寧な指標ではあると考えられるし、実際この指標でノーベル賞受賞者や著名な心理学者を見比べると感覚的に馴染む結果が出るとかなんとかかんとか。
で、そもそも根本的に単一の、シンプルな指標で研究者をランク付けしようって試み自体どうなんだ、という突っ込みはさておくとして*4h-indexとIQpを比べるとどうなんだろうね、と言うのがMy Open Archiveに投稿した発表の趣旨の一つ。
発表中の結論としては・・・いやまあ、h-indexよりIQpの方が色々工夫があるってのはわかるんだけど・・・端的に言って、算出するの面倒くさすぎじゃないのかこれ、と（苦笑）
まず総被引用回数/総発表論文数のカウント、ってだけでも面倒くさい。
h-indexはとりあえずh-indexの計算に関わる分（被引用回数による順位＝被引用回数となるところまでの論文）がわかれば計算できるのに対し、IQpは１回しか引用されてなかったり１回も引用されてない論文まで含めて、その著者の全ての論文とその被引用回数がわからないと計算できない。
まあそれは既存のサービスから買ったりなんだりするにしても、次に「著者の主要な活動分野３つ」ってのを定めるのもまた面倒くさい。
それ、誰が判断するのさ、と。
まあ自己申告させればいいんだろうけど・・・加えてインパクトファクターも計算しないといけないので、「分野ごとのインパクトファクター」を計算できる引用ＤＢじゃないと情報源に使えない。
もともとこの手のこと（ビブリオメトリックス）に使える国際的なＤＢなんてWeb of Science、Scopus、Google Scholarの３つくらいだと言うのに・・・
と、まあそんなこんなで、こんな人目による判断がガンガン必要そうな指標使うくらいならいっそ普通にピアレビューしちゃったらいいんじゃないか、と言う（苦笑）
ピアレビューはコストかかりすぎるからなるべくコストのかからない評価方法考えよう、ってのも計量書誌学を研究評価に用いる理由の一つだが（あとは客観性とか透明性の確保）、少なくとも現段階においてIQpがコストをかけずに計算できるようには思えない・・・なんか、研究の質と生産性を的確に評価するってことが最終目標ならこれでいいんだけれど、それ実際のところ最終目標じゃなくないか、と言う。
前述の"Citation Statistics"レポートで言及もあるが、やっぱ研究評価としては「仲間同士のピアレビューっしょ」って意見が現状では根強く（min2-flyも最終的にはそっち派です）、指標はそれを補助するものくらいにしといた方がいいんでないかい、と・・・研究者間で評価するときの参考情報にするにはいいが、それ単独で研究者をランク付けするような評価方法はやっぱ現状ありえない（やってるところも多そうだが・・・）。
で、あるならば指標は必ずしも完全を期す必要はなく、h-index含め平均被引用回数、総被引用回数等いくつかの指標をばらばらと提示する形でいいんじゃないか・・・とかなんとか*5。
そうなるとコストをかけてIQpを求める必然性が薄いというか、そもそも式が複雑すぎてIQpが本当のところ「なにを意味しているのか」もよくわからないし・・・h-indexの方はまだ「h回以上引用された論文がh本以上あります」ってことだとわかるんだが、IQpは数字自体に何か意味があるのかないのか。
要は完全な指標求めてそれで良しとするんじゃなくて、不完全な指標でもいいからいくつも並べて見せて、そっちを人目で判断しようぜ、と。
さすがに生データ見ろとは言わないがー。
論文全部読め、ってのも個人の採用可否とか昇進とかの時は当然としても、複数人を評価するとき（例えば機関単位の評価とか）は死んじゃいそうだし・・・
ちなみに授業での受けは意外に良かったような気がしました。
ネタが生々しかったからかな・・・実際にその場で図情の先生のh-index計算したりしたしなー、角が立ちそうだから公開しないけど・・・
あとh-index絡みの話（h-indices）はなんか日本にあんまり情報が入ってこない一方でむしろ中国とかでけっこう盛んに研究・発表されていたりすることに今回気がついたり。
なんだろう・・・やっぱ過酷な競争環境があるから研究者評価の話にも敏感だったりするんだろうか、中国。
*1:7/1現在は復帰している・・・はずです、どのみち契約してないところからだと見えないページにリンク貼ってるかも知れませんが。ちなみにサーバにアクセスできなくなっていたのはBlackwell Synergyとのシステム統合のためとのこと。今後は旧SynergyのジャーナルもWiley InterScienceのインタフェースで利用するようになり、来年上旬にはInterScienceのインタフェースも刷新する予定だそうです
*2:Hatena-Index - かたつむりは電子図書館の夢をみるか
*3:なお、h-indexの"h"も"IQp"も本来はイタリック表記なのだが、以下面倒くさいので全部イタリック表記は省く
*4:そこら辺は最近発表された国際数学連合の"Citation Statistics"レポートにも詳しい。参照：国際数学連合、学術文献の引用を統計学的に分析したレポートを発表 | カレントアウェアネス・ポータル
*5:発表時に「h-indexいるの？ 平均被引用回数とか中央値とかでよくない？」という質問があったが、それだとh-indexのような「h回以上引用された論文がh本以上ある」情報は落ちてしまうので
