かたつむりは電子図書館の夢をみるか（はてなブログ版）

かつてはてなダイアリーで更新していた「かたつむりは電子図書館の夢をみるか」ブログの、はてなブログ以降版だよ

あなたのお気に入りの雑誌の順位は上がる？ 下がる？：JCRに新導入された指標を見比べてみた：図書館情報学編

図書館 エレクトリック


先週広報された話ですが、トムソン・ロイター社が提供する学術雑誌の評価ＤＢ、Journal Citation ReportにこれまでのImpact Factor等の評価指標に加え、新たな指標がいくつか導入されましたね。


トムソン・ロイター社は研究者（特に英語圏のものを読む人）ならば誰もが見ずにはいられない"Web of Science"や、そのもととなっている引用索引データベースSCI, SSCI, A&HCI（それぞれ自然科学、社会科学、人文科学の引用索引ＤＢ）を提供している企業であり。
Citation Index＝引用索引とそれに基づく各指標の計算元としては（最近になってScopusやGoogle Scholar等の対抗馬も出てきてはいるものの）最も信頼されるソースとなっているところでもあります。
これまた最近は目をそむけたくても意識せずにはいられない雑誌のインパクトファクター（Impact Factor：当該年より過去２年分のその雑誌に掲載された論文の被引用数を同じ期間の掲載論文数で割った数字）もここが発表するJournal Citation Report（JCR）で毎年明らかにされています。


で、今回の発表によればまさにそのインパクトファクターを公表しているところであるJCRに、新たに

  • その雑誌のEigenfactorとArticle Influence Score

という２つの指標が合わせて掲載されることになったそうで、長らく「インパクトファクターだけが雑誌の評価指標じゃねえぞ！」と言う意見を述べてきた人にとっては吉報・・・とまでは言わないまでも一つの指標にとらわれずに色々見てみるって姿勢が入ることは喜ばしいことかな、とかなんとか。


それぞれの新指標について説明すると、まず５年分のインパクトファクターですが、これは書いてそのまま、従来過去２年分で計算していたインパクトファクターの算出期間を５年にのばしたものです。
分野によって出版後のどのタイミングで論文の引用が増えるかと言う傾向には差があり、長いところでは出版から時間がたっても割と引用があったりするので、それを「過去２年」でばっさり区切られたんじゃかなわん、という批判はかなり以前からあり。
トムソン社でも５年分でインパクトファクターを計算する方法等は広報されていたそうですが、今回さくっと５年分で計算した数値もあわせて表示された、ということでいちいち自力計算しなくても見られるから楽になりましたね！
ちなみに図書館情報学分野（JCR Social Sciences Edition 2007年版の"Information Science and Library Science"）についてみたところ、登録されている56雑誌中５年インパクトファクターが計算できている雑誌が52誌、うち35誌は５年インパクトファクターの方が従来の２年で計算したインパクトファクターよりも大きいと言う結果に。
図書館情報学的には５年インパクトファクター見れるようになったのは良かったかもですね。


続いてこちらはJCRでは完全に新導入、Eigenfactor。
EigenfactorについてはEigenfactor.orgのページに細かく解説があるのでわざわざ自分が書くまでもない気もしますが、端的に言うとGoogleの検索結果ランキング算出手法であるPagerankと同様の手法を学術雑誌に適用した指標です。
インパクトファクター等の従来JCRで提供されている指標は、基本的には「引用は引用」と言うことで（収録範囲内であれば）どの雑誌からの引用も等しく１回としてカウントしています。
"Nature"や"Cell"や"Science"から引用されようが、JCRに入ってはいるけど分野外の人は名前も知らないだろう一雑誌から引用されようが１回は１回。
これに対しEigenfactorは雑誌間の引用に重み付けを行います。
重み付けのやり方については上のリンク先の図を見てもらった方がわかりやすいのでぜひそっちを見て欲しいところですが、これまた恐れを知らずに端的に言うと

  • 多くの雑誌から引用されている雑誌からの引用は重みが大きい
  • 他の雑誌をあまり引用しない雑誌からの引用は重みが大きい


と言う２点にまとめられます。
この重み付けの考え方としては、

  • ある研究者が図書館に行く
  • 適当に一冊、雑誌を手に取って論文を読む
  • その論文から引用されている論文（の掲載された雑誌）を適当に選んで読む
  • 選んで読んだ雑誌の論文が引用している論文をまた適当に読む・・・

ってことを繰り返していった場合に、評価の対象となる雑誌がどれくらい読まれうるか、と言うことを考えたものであると言われます。
色々な雑誌から引用されている雑誌が読まれやすくなる、と言うのは上の説明ですぐにわかるところです。
「他の雑誌をあまり引用しない雑誌からの引用は重みが大きい」というのはどういうことかと言うと、例えば今ここに10の異なる雑誌を引用している雑誌Ａと、100の異なる雑誌を引用している雑誌Ｂがあったとして、雑誌Ｃはそのどちらの雑誌からも引用されているものとします。
この場合、雑誌Ａの読者が次に引用を辿って雑誌Ｃに来る確率は、当然1/10。
一方雑誌Ｂの読者が雑誌Ｃに来る確率は1/100となり、雑誌Ａ・Ｂに読者がたどり着く確率が等しいとすれば雑誌Ａから引用されている場合の方が雑誌Ｃに読者がたどり着く確率は高くなります。
ってことで、他の雑誌を引用していることが少ない雑誌からの引用の方がEigenfactorでは重みが大きいと言うことにされているわけです。


じゃあ具体的にどういう計算でEigenfactorを求めるのか・・・は、上記リンクをご確認願いますm(_ _)m
式に行列が出てきた時点で学部１年生のころの教科書引っ張ってこないと自分には理解できない領域だよ！


Article Influence Scoreはこの引用に重み付けを行って算出した指標であるEigenfactorを、各雑誌の掲載論文数の比（全対象雑誌掲載論文に占めるその雑誌の掲載論文の数）で割ったもので、こいつが１を超えていると平均よりも影響力が強いと言うことになり、１より低ければ平均より影響力が低いと言うことになります。



・・・と、まあいろいろと新指標が追加されたわけですが！
ここで当然気になるのは、これらの新指標導入にはどれくらい意味があるのか＝実はインパクトファクターで見たときと大して雑誌の評価が変わらないんじゃないか疑惑！
言いかえると、５年分インパクトファクターでみた雑誌のランキングやEigenfactor/Article Influence Scoreで見た雑誌のランキングは、従来のインパクトファクターで見た場合とどんだけ違うのかという話。
全然違わないなら別にインパクトファクター見てればいいし、全然違うのであればこれまでのインパクトファクター偏重社会にまさにもの申すいい機会なわけですよー。


ってことで、さっそくながら確認してみることに。
用いるソースは上でも示しました、JCR Social Science Editionの2007年版で、分野は自分が一番なじみのある図書館情報学でやってみます。
いちいち全部の指標で出してみたランキングを比較してみてもいいんですが、それだと自分の目が疲れるので今回は各指標間のスピアマンの順位相関係数を見てみたいと思います。

スピアマンの順位相関係数（じゅんいそうかんけいすう）は統計学において順位データから求められる相関の指標である。チャールズ・スピアマンによって提唱され、ふつうρ と書かれる。

ピアソンの積率相関係数（普通に相関係数と呼ばれるもの）と違い、ノンパラメトリックな指標である。すなわち2つの変数の分布について何も仮定せずに、変数の間の関係が任意の単調関数によってどの程度忠実に表現できるかを、評価するものである。「変数間の関係は線形である」と仮定する必要も、また変数を数値的にとる必要もなく、順位が明らかであればよい。

別に普通にピアソンの相関係数見てもいいっちゃあいいんですが正規分布しているんだかどうだかわかんないのでとりあえずこいつで。
ちなみにスピアマンの順位相関係数は以下のサイトで簡単に計算してくれます。なんて有り難い。

今回は上記のサイトとJCRからダウンロードしたデータを用い（ちなみにJCRの購読は有料です。一定規模以上の国立大学図書館であれば契約していると思いますが。個人で買うといくらになるのかは怖くて調べたことない）、２年分インパクトファクター(IF)、５年分インパクトファクター(IF)、Eigenfactor、Article Influence Score(AIS)それぞれの間の順位相関係数を見てみます。


で、さっそくですが結果は以下の表のとおり。


表１.　図書館情報学分野における各引用指標間のスピアマンの順位相関係数（2007年版, 対象は全指標が計算できている52誌）

IF（２年） IF（５年） Eigenfactor AIS
IF（２年） 1.000 0.931 0.806 0.889
IF（５年） 1.000 0.798 0.948
Eigenfactor 1.000 0.857
AIS 1.000

（数字は小数点以下第４位を四捨五入、P<0.01で有意の場合太字）


・・・まあ、当たり前ですが強い正の相関がありますね・・・
Eigenfactorがやや他との相関が弱いですが、これは掲載論文数を加味しない指標だからでしょうね。
掲載論文の比を見たAISだとIFとの相関はかなり強いです。
まあもともと図書館情報学分野だとそんなに上位-下位間の間が極端にでかいってわけじゃないのもあるのかも知れませんが・・・
IF（２年）とAISの間の相関係数0.889をどう評価するか、っていうかぶっちゃけ自分のお気に入りの雑誌がどうなるかでいろいろな態度を取れそうですね。
あんまり変わらないなら「どっちを見てもいいんじゃない？」、AISの方が評価が高くなるなら「引用の重み付けを行っているこっちの方が・・・！」と主張、IFの方が評価が高いなら「IFで見ても実は重み付けを行った場合と大差なくてね・・・」とか言ってIFを見ることを主張、みたいな（笑）


分野によってはもっと大きな差が出るところもあるかも知れませんし、この機に色々見てみると楽しいかも知れません。
自分のジャーナルが一番有利になる指標での評価導入をどこまで推し進められるかが今後の荒波を生き抜くキーポイントとなるかも知れませんしねっ！
ちなみに自分が一番良く読んでいる雑誌、"Journal of the American Society for Information Science and Technology"誌は図書館情報学分野の中ではIF（２年）で13位、IF（５年）で11位、AISで9位と言う結果でした。
ってことで今日から自分はAIS押しで行きたいと思います。
やっぱ重み付けは大事だよっ！