かたつむりは電子図書館の夢をみるか(はてなブログ版)

かつてはてなダイアリーで更新していた「かたつむりは電子図書館の夢をみるか」ブログの、はてなブログ以降版だよ

学術論文における"rating"ってなんだ?

まだ引っ張るOpen Access Dayネタ。


そういや動画も公開されていました。
・・・自分の発表、端的に言ってマジでうるさい・・・
疲れてきている後半の方が静かで聴きやすいってのは問題なので今後気をつけようと思います。


で、それは本題ではなく。
質疑応答の詳細については上記サイトで公開されていないのですが、質疑の中でOpen Accessからだんだん話が脱線して、司会の日本化学会の林さんから「論文の評価方法としてのはてなブックマークSBM)やはてなスターのようなサービスは考えられないか?」というような質問をされ。
当日は(少なくともはてブはてなスターでは)難しそうだ、という風に答えたのですが、その後も空き時間(あんまりないけど)に色々考えたりしていました。


で、思いだしたのが、そういやはてなスターみたいに任意の数の星をつけられるシステムじゃないけど、数段階評価で論文に皆で点数付けるサービスは(プラットフォーム横断的ではないですが)あったということ。
例えば以前も紹介したオープンアクセスジャーナルであるPLoS ONEなんかまさにそうです。


ログインユーザ(無料)は右側の"Rate this article"ってところから点数をつけることが可能で、つけられた点数の平均は誰でも見られます。
上のリンク先の論文は一人しか点数付けてなくて、平均は4.5点ですね。
イメージとしてははてなスターよりはYouTubeの評価機能に近い感じ。
ほかに商用サービスだとElsevier社の2collabでもブックマーク機能と合わせてrating機能(こっちでは"vote"と呼称)があって、Elsevier社の学術論文や他のwebサイト等に点数がつけられます。


で。
気になる実際の使用状況ですが・・・PLoS ONEの方はけっこう話題になっていた最速カビ論文でも評価した人は一人、2collabの方も3人が5点付けてれば評価高い順に並び変えて1位*1になるような状況で、そんなによく使われているという感じではどちらもないですね。
これも質疑応答時に言った気もしますが、結局一般的な記事の多いブログやニュースサイトなんかと違って、学術論文の場合どんなに評価が高くても異分野の論文を読むと言うことはあんまりない(読んでもわからない)ですし、そうなると世界的に見て(増えたとは言っても)多数派というわけではないソーシャルサービス利用に親和性の高い人の中で、研究に携わっていて、なおかつある分野に属する人間・・・と言う非常に限られたコミュニティが成立しない限りはあんまりこの手のratingが意味をなすことはなさそう、と言う感じ。
利用者が少ない場合に何が問題って、「読まれていないから無星(0点)」のコンテンツと「読まれた結果無星(0点)」という全く意味の違う2者が判別できないこと。
実際にはかなりの論文が単にサービス利用者が読んでないから無星なだけである可能性があるわけで、そうなると0点であるっていうことは1点であることよりも評価が低いとは言えないということになる。
じゃあ利用の母数が増えればいいか・・・と言えばそこも問題で、第一にはどんだけ母数が増えたとしても学術論文の想定利用者には限りがあるということがあり、YouTubeばりに多くの評価者が集まると言うことはないだろう、ってことがあり。
もう一つは、「仮にサービス利用者がある程度まで増えたとしても、結局0点(誰も点数をつけていないまま)であることが1点であることより評価が低いとは言えない」んじゃないかと言う問題がある。


言い換えると、ある論文を読んで、あんまり興味がなかったとかそこまで面白くなかったって時にいちいち点数をつける人がどれだけいるかという問題。
そんなのにいちいち1クリックして投票するくらいなら、そもそも点数付けない人の方が多数派なんじゃないだろうか。
たぶんYouTubeやなんかでも全体に評価の高い動画の方がよく見かけるのは、「つまんない」と思った人はそもそも点数付けてなくて、面白いと思った人だけが比較的高い点数をつけるせいなんじゃないかということがある。
それに対してわざわざコンテンツに5段階評価で1点(星1つ)とか、10段階評価の1点(星半分)とかをつけるような人って言うのは「つまんない!」とか「こんな論文ろくでもねえ!」ってことを声高に主張したい人である可能性が高く、実は「星1つ」という評価は星が1個もないより評価が低い、というかネガティブな評価であると言えるのかも知れない(もちろん、「0点」を投票できるなら別だけど。その場合は「星0」と「評価なし」はわかるように区別しないといけない)。
そう考えると、この手の評価を強制されないratingでは星の数っていうのはほとんど「5か1か」でしか意味がなくて、4とか4.5がついている場合は中に何人か「5までつけるほどじゃないな」と思った人がいたって程度、逆に1か2によってればよほどネガティブ評価な人がいるんだなってわかる程度の意味しか成さないんじゃないかと言う気がする。
とてもじゃないが論文の質の評価には使えないと言うか、プラスORマイナスくらいしか見れないんじゃないか、と言う話。
その点でははてなスターみたいに最初からネガティブ評価を消しているサービスで一人がつけられる星の数を制限した方が、まだratingとして意味を成しそうな気はする(その場合だと1つ星も評価が低いってんじゃなくてミシュランの星とかと似たような意味合いになるし)。
誰か英語が得意な人、Elsevierに「こっちの方がいいよ!」ってはてなスター売り込んで来たらどうか。


もっとも、Amazonの書評とかだと割と星3つとかつけて真面目に評している人もいるので、そういう感じになるとうまくいくのかも知れないけど・・・
でもAmazon書評は「買って読んだ」って前提があるから面白くなかったらひとこと言いたくなる気もするのに対して、電子ジャーナルの論文とかは機関購読している場合、無料コンテンツと対して使用感変わらないからなあ・・・「そこまで良くはなかった」って評価をするために時間割くコスト払うだろうか・・・むーん・・・

*1:論文の中で。全体で一番評価高いのはScopusで、それでも4人が5点つけただけ