かたつむりは電子図書館の夢をみるか(はてなブログ版)

かつてはてなダイアリーで更新していた「かたつむりは電子図書館の夢をみるか」ブログの、はてなブログ以降版だよ

誰が論文に点数をつけるのか?:PLoS ONEのarticle level metrics調査


「明日から通常営業に戻ります」と言ったそばから1週間以上放置してしまいましたが・・・(汗)
こ、更新するつもりがないのと、するつもりはあるんだけど更新する時間がないのでは全然違うよね!?


閑話休題


当ブログでも再三とりあげてきたオープンアクセス雑誌、PLoS ONEのWeb of Scienceへの収録が決まりましたね。

  • 元ニュース(英語)


PLoS ONEは掲載料を著者が支払う代わりに読者はただで閲覧できる、いわゆる「著者支払い型」のオープンアクセス雑誌です。
かつ、「研究手法と結果の解釈が科学的に妥当なものであれば、論文の中身の質は問わず採録する」という方針のもとに、スピーディな出版が行われる雑誌でもあります。
質を問わない、と言っても手法や結果の妥当性は問われるので、要は研究の作法の部分がしっかりしていれば、結果が人目を引くようなものかどうかは問わない、というのがPLoS ONEの査読方針です(ちなみに対象は全研究分野)。


この方針はかなり著者からの受けがいいようで、2006年に創刊された雑誌ですが2007年には1,169本、2008年には2,742本と右肩上がりで出版論文数を増やしています*1
一方で掲載論文数が多すぎる上に「質は問わない」という方針が明言されていることから、Natureの紙面上で「PLoS ONEはゴミ捨て場になるだろう」と揶揄されたりもしていたのですが*2
今回、Web of Scienceへの収録が決まったということで、今年中にはインパクトファクターも発表されるとのことですし、質についても一定の評価を得ることは出来たと言えそうです。


ちなみにまだJournal Citation Reportsで雑誌単位の集計結果(インパクトファクターとか総被引用数とか総論文数とかアイゲンファクターとか)を調べることはできないのですが、すでにWeb of Scienceへの収録は始まっているので、そちらでPLoS ONEの被引用状況を見ることはできます。
2008年出版分の収録はまだのようですが、2007年分の一部はすでに収録済みのようで、562本の論文の平均被引用数は9.7回でした。
2009年のインパクトファクターの計算時に対象になるのは2009年に引用された回数のみですが、2009年分だけに限定しても平均5回は行ってそうです。
今後、2008年分が追加されたりするのでこのままインパクトファクター5が付くってことはないのではと思いますが・・・
自然科学分野でWeb of Scienceに2008年に収録されていた6,620誌中、インパクトファクター5以上がついているのは412誌なので、もし5ついたら割といいせんですね。


ちなみにこのようにScopusやWeb of Science等のデータベースで調べる以外に、PLoSは「Article Level Metrics」という、論文1本ごとにこれまでのアクセス数や被引用数、ブログからのトラックバック数等を表示できる機能があります。



図. PLoSのArticle Level Metrics
PLOS ONE: Clickstream Data Yields High-Resolution Maps of Science


上に示したのは、以前ネットでも話題になった、アクセスログデータからサイエンスマップを描くJohan Bollenらの論文のarticle level metricsです。
発表された去年の3月からこれまでに30,000回以上閲覧されており、被引用数もScopusで5回、PubMed Centralで3回あること等がわかります*3
研究関連ブログで言及された回数は4回で、コメントは5件ついています。


で。
今回取り上げたいのは図の中でもひときわ目立つ、緑の星。
これは読者が論文を5段階で評価できると言う、AmazonYouTubeのrating機能と同じような仕組みで、ログインユーザであれば誰でも評価をつけることができます*4
PLoSとしてはweb2.0ライクなこの機能は売りの一つで、かつ「科学的に妥当なら質は問わない」という自身の査読方針を補う、"post-publication review"としてこの評価機能とコメント機能が重視されています。
査読の段階でぎゃあぎゃあ言うんじゃなくて、科学として真っ当ならまず出して、その後でお互いに評価したり議論し合えばいいじゃないか、というわけです。
閉塞気味というかバランス的に限界が指摘されることの多い査読システムの変革の意味もあって注目されている機能なのですが・・・しかし1年未満で30,000回も閲覧されたBollenらの論文ですら、ratingしている人は1人のみ、しかも全部5つ星。
これは過去エントリで世界最速カビ論文についても指摘したのですが*5、どうもこのrating機能、まともに機能しているのかわからないところがあります。
「ゴミ捨て場」とまでは言わずともPLoS ONEが「なんでもあり」なのは確かで、今後さらに出版点数が増えたらますます読み切れなくなる・・・ということを考えるとなんらかのフィルタリングは欲しいところなのですが、ratingがその役割を果たすものになっているかは疑問です。


疑問があるならば調べてみようー、と言うことで試しに2009年1月に発表された(ちょうど発表から1年が経った)論文のarticle level metricsの状況を調べてみた結果が以下の表です。
時期を区切ったのは発表論文数が多すぎて全部読むとえらいことになるから(苦笑)*6
調査項目は、さしあたり「HTMLでの閲覧回数(平均)」、「PDFでの閲覧回数(平均)」、「Scopusでの被引用数(平均)」、「コメントのついた論文数」、「ブログから言及された論文数」、「ratingのついた論文数」の6項目としてみました(平均値は小数点以下第1位で四捨五入)。


表. 2009.01のPLoS ONE掲載論文のarticle level metrics状況

総論文数 平均閲覧回数(HTML) 平均閲覧回数(PDF) 平均被引用数 コメントのついた論文数 ブログから言及された論文数 ratingのついた論文数
227 1,063.3 218.6 1.3 27 56 9


総論文数227に対しratingがついた論文数は9本、パーセンテージにして約4%!


あんまり使われていないだろうとは思っていましたが、予想をはるかに超えて使われていませんでしたね・・・
まだしもコメントされたことのある論文の方が多く、さらに言えばブログ等で紹介された論文の方がもっと多いです。
rating機能、全然普及していません。


おまけにたまに点数がついている9本についても、評定は4〜5の範囲内・・・YouTubeの調査でratingは1か5しかつかないという話がありましたが*7、1がつかない分だけさらに評価機能としては使いものにならないと言えるかも知れません。
2人以上の人がratingした論文も1件しかなく、1人の裁量で決まってしまうという点でも信用がならない・・・まあ、まずもって点数ついている論文が少なすぎなのでどうにもならないのですが。


ちなみに他の指標との兼ね合いを見ると、点数の付いている論文の方がHTML閲覧回数(平均5,632.3回)、PDF閲覧回数(平均315.0回)、被引用数(平均2.2回)すべてが点数のついていないものより高い傾向はあり、一応星がついていればPLoS ONE掲載論文の中でもそこそこ注目されている論文であると言うことはできるかも知れません。
もっとrating機能が普及すればより使えるものにもなるのかも知れませんが・・・これも過去エントリで書いたとおり、どうにも学術論文でratingは普及しないのではないかという気もします。
SCREALの調査によれば日本の研究者の4週間での論文閲読数の中央値は10本くらい*8、年間だと120本以上、それも60%以上の論文は30分未満しか閲読に時間をかけられていないとのことであり。
自分が読んだ論文をいちいち評価する、それも「これは素晴らしい!」と思ったとき以外にまで点数をつけるような作業が、研究者の間で普及するとはどうにも考えにくそうな気がします。
はてなスターみたいにぺしぺし星をつけるだけならいいのかも知れませんが、そうなると評価を得るにはまずたくさん読まれることが必要で、「じゃあ閲覧回数でいいじゃん」という話になりますし。
分野によって読者の母数が違うことも考えるとそれでは問題もあるので、なんかいい評価機能があるといいとは思うのですが・・・うーん・・・


図書館情報学なんかはPLoS ONEに論文が載ることはたまにしかないので別にフィルタリング自体なくても苦ではないのですが。
論文数の多い分野では需要があるのかないのかも含めて、PLoS ONEのarticle level metricsとpost-publication review機能については色々と検討の余地がありそうです。
・・・インパクトファクターがついた瞬間に投稿数が爆発してえらいことになったりしたら、嫌でも検討せざるを得なくなりそうですが(笑)

*1:数字は以前からPLoS ONEが収録対象になっていたScopusに基づく。ちなみに筑波大学は現在Scopusトライアル期間中なのですが、大変重宝しています。もちろんWeb of Scienceも重宝しています。なんとかやりくりしたらこのまま両方継続できないでしょうか?>筑波大学附属図書館各位

*2:Butler, Declan. PLoS stays afloat with bulk publishing. Nature. 2008, vol.454, no.11, p.11. http://dx.doi.org/10.1038/454011a [accessed 2010-01-15

*3:ちなみにここには表示されていませんがこの論文もすでにWeb of Science収録済みで、被引用数は6でした。そのうちきっとWeb of Scienceでの被引用数もArticle Level Metircs画面に出るようになるのだろうと思います

*4:アカウント作成も無料です

*5:学術論文における"rating"ってなんだ? - かたつむりは電子図書館の夢をみるか

*6:機械的にデータダウンロードしてくれば楽だと思うので、今後検討したいと思います

*7:YouTubeが5つ星級の発見:評価システムは無意味だった | TechCrunch Japan

*8:http://www.screal.org/apache2-default/