まだweb上には情報は上がっていないようですが、日本薬学図書館協議会発行の雑誌『薬学図書館』の最新号（54巻2号）に「学術情報をめぐる新たな評価指標： Impact Factor, h-index, Eigenfactor, Article Influence, Usage Factor」と題した論文を発表しました。
- 論文の書誌事項
佐藤翔. 学術情報をめぐる新たな評価指標： Impact Factor, h-index, Eigenfactor, Article Influence, Usage Factor. 薬学図書館. 2009, vol.54, no.2, p.121-132.
内容ですが、前半は副題に列挙した指標を中心に最近の研究評価指標をめぐる動向のレビュー、後半はJournal Citation Reportに新たに導入された５年Impact Factor, Eigenfactor, Article Infuluenceなどの指標と従来からある総被引用数、Impact Factor等の指標の関係を分野ごとに見てみよう・・・という感じになっています。
JCR新規導入指標と従来指標の比較、ということでは
というエントリの拡大増強版、と言えそうな内容です（実際、上のエントリを見た編集委員会の方から声をかけていただいたのが執筆のきっかけです）。
なおすでに読まれた方に誤りの修正ですが、前半のh-indexに関する説明の部分で「被引用数100の論文を1本発表し、他にはまだ発表してない研究者」のh-indexが10になると書いてあるのですが、そんなわけないです。
その場合研究者のh-indexは1になります。
本来は「被引用数100の論文を10本発表し、他にはまだ発表してない研究者」とすべき部分で、著者校正までは（自分に責任のある範囲までは）そうなっていたのですが、どうもその後の編集過程で修正されてしまったようです*1・・・取り急ぎこの場を借りて修正をば。
さて、本題のJCR新規導入指標とその他の指標の関係についてですが、まず新規導入指標の説明については下記の中西印刷さんの邦訳を参照してください（論文中でも引用しています）。
非常に大雑把にいうと、EigenfactorとはGoogleのPageRankと同様に引用に重みづけ処理を施した学術雑誌の評価指標で、「多くの雑誌から引用されている雑誌の引用は評価が高い」、「少ない雑誌しか引用していない雑誌からの引用は評価が高い」という２つの考えに基づいて重み付けを行っています。
さらに計算の都合上、自誌引用（ある雑誌の論文が、同じ雑誌の以前の号に掲載された論文を引用したりするケース）は除外されています。
Article InfuluenceはEigenfactorを雑誌の掲載論文数に応じて割ったもの（ただし単純に論文数で割るんじゃなくて、評価対象の全論文数中の当該雑誌の論文数が占める割合で割ります）で、雑誌の規模を考慮に入れている点でImpact Factorと同様の指標から自誌引用を除外して重み付けを施したものである、と考えられます。
で、自分の論文の中ではこれらの２つの指標と、雑誌の総被引用数、Impact Factor、５年Imapct Factor*2の相関関係がどうなっているかを、化学、工学、数学、医学、薬学、物理学、図書館情報学の７分野の雑誌について、Journal Citation Report2007年版を例に分析しています。
図書館情報学については自分が上のエントリで試してみて非常に相関が強い（あんまり新規指標も従来指標も結果は変わらない）ことは見ていますし、コーネル大学のPhilip.M.Davisも医学分野で同様の結果を得ている*3のですが、じゃあ他の分野はどうなのか、という話。
結論から言うとほとんどの分野では各指標は強い相関関係にあって、中でも総被引用数とEigenfactor、５年Imapct FactorとArticle Influence（それぞれ後者は前者に自誌引用の除外と引用の重み付けを適用したものにあたる）などの対応関係にある指標はほとんどの分野でρ＞0.9と非常に強い相関があります。
「Natureからの引用とそこら辺の雑誌の引用を同じく扱っていいのか！」とか重み付けの実施には割と説得力があるように思えるのですが、やってみると重み付けしようがしまいが、自誌引用を除外しようがしまいが分野内での評価が大きく変わらない雑誌が大多数で、横軸に５年Imapct Factor、縦軸にArticle Influenceをとって散布図を描いたら医学・薬学・化学はほぼ右上がりの一直線に並びました。
面倒くさいことやった割には報われない・・・
と、思いきや。
５年Impact FactorとArticle Influenceで評価ががらっと変わる分野もあって、今回分析した中では数学分野の雑誌は両者の相関がρ＝0.77と他分野がどこも0.9超えてる中で一段低い値を示しています。
散布図を描くと直線ではなく扇型を示して、同じような５年Impact Factorの値を取る雑誌でもArticle Influenceは３倍以上違う、なんて雑誌もあったり。
どうも数学では、引用の重み付けと自誌引用の除外は雑誌の評価ランキングにかなり影響するらしい・・・というのが今回の論文の割と肝の部分です。
さらに細かく見ていくと応用数学で、どの分野からよく応用される雑誌か、と言うのが重み付けにかなり影響しているようで、例えば上の２誌だと経済学の雑誌から引用されている雑誌が教育心理学から引用されている雑誌よりも似たような５年IFでもはるかに高いArticle Influenceの値を取っていました。
それ以上は数学の専門家の方に見ていただかないとどういうことだか測りかねる部分が多かったのですが・・・とりあえず、分野によってはEigenfactorやArticle Influenceのような重み付けと自誌引用除外は確かに影響を及ぼすことがある、と言えそうです。
逆に言うと医学・化学・薬学、中でも医学と薬学はほとんど影響ないです。
ここら辺、分野の中／他分野との間での雑誌間の引用関係の構造がどうなっているかがかなり影響を及ぼしそうなんですが、その検討については実際にデータのセット作って試してみないとわからなさそうなので今後の課題と言うことで。
他にも（個人的にはあまり分野を超えて雑誌を比較しても意味ないと思っているのですが）分野ごとの５年IFとArticle Influenceの平均値／中央値を取って見るとImpact Factorでは最下位独占の数学がArticle Influenceだと一気に浮上するのに工学と図書館情報学は相変わらず低いままでなんなんだこれは、とか、そんなような話をいろいろ書いています。
『薬学図書館』誌は３カ月間のエンバーゴ期間ありとのことなので*4、７月末か８月には機関リポジトリ等で誰でも自分の論文を読めるようにはしたいと思っているのですが、さしあたり早急に興味がある方は『薬学図書館』本誌をお手にとっていただければ幸いです*5。
・・・しっかし、数学って『Citation Statistics』報告*6とかでEigenfactorを批判している（計算が複雑すぎて、背後に置いている仮定とかを使う人が気付けない）ところなわけだけど、そこがちょうどEigenfactor導入の影響を一番受けそうだってのはなかなか面白い・・・
今回分析した分野はごく一部なので、他も見てみるとまた違った結果になるかもだけど。
時間があって所属機関等でJournal Citation Report購入している方は自分の分野で試してみても面白いかも、とかなんとかー。
*1:最初、出版されたバージョンを見た時は今更h-indexの計算を間違ったかと思ってかなり焦りました・・・
*2:Impact Factorの計算期間を２年から５年に延ばしたもの
*3:出版者版（購読者のみ見られる）：Davis, Philip M. Eigenfactor : Does the Principle of Repeated Improvement Result in Better Journal Impact Estimates than Raw Citation Counts?. Journal of the American Society for Information Science & Technology (2008) v59 n12 p.2186-2188, arXiv版（著者最終版、誰でも見られる）：[0807.2678] Eigenfactor : Does the Principle of Repeated Improvement Result in Better Journal Impact Estimates than Raw Citation Counts?
*4:ちなみに別刷りが届くのは発行から１ヶ月後だそうです
*5:h-indexの部分の誤記だけ注意願います
