「Symplectic Elements：新世代研究情報管理ソリューション：リサーチアドミニストレーション、研究戦略立案の切り札」（第14回図書館総合展参加記録その５／図書館総合展連続更新その６）
「Symplectic Elements：新世代研究情報管理ソリューション：リサーチアドミニストレーション、研究戦略立案の切り札」（第14回図書館総合展参加記録その５／図書館総合展連続更新その６）
図書館総合展連続更新シリーズ、ついに最終日・３日目。
最初の時間は研究情報管理システム・Symplectic Elementsを紹介するフォーラムに行って来ました！
**
- 会場 : 第7会場（E205）
- 日時 : 2012年11月22日（木）
- 時間 : 10:30-12:00
- 主催 : NPG ネイチャーアジア・パシフィック シンプレクティクリミテッド
- 講師：
- ダニエル・フック Ph.D.（CEO シンプレクティクリミテッド）
製品概要
Elementsは世界中で多くのライブラリアン、リポジトリ担当者、研究者および研究アドミニストレーターの方々に利用されている研究情報管理システムです。ElementsはCiNiiなどの各種学術データベースからパブリケーション、引用および共著者情報などを収集し研究プロファイルを自動的に作成いたします。Elementsは研究活動の現状を評価、可視化しそれを将来計画立案に役立てるようなツール群を機関のリーダーに提供いたします。
Symplectic Elementsについては今回のフォーラムにお誘いいただくまで知らずにいたのですが、フックさんが語られたその背景・理念はそうとう面白かったです。
これは確かに研究者は進んでやってしまうかもしれない！
以下、当日の記録です。
例によってmin2-flyの聞き取れた／理解できた／書取れた範囲のものですので、ご利用の際はその点御理解願います。
事実誤認・誤字脱字等についてはコメント欄等でご指摘下さい。
また、Sympectic Elementsについて、詳細は下記webサイト等もぜひご参照を！
「Perspectives on Research Information Managements」（ダニエル・フックさん、シンプレクティックリミテッド CEO）
自己紹介・イントロダクション
- 理論物理学の研究者でもある
- SYMPLECTICで仕事をしつつ兼業
- 今日紹介するツールは図書館、マネージャの側面だけでなく研究者の視点も含んだもの
- 今日は研究情報管理の複数の側面について話したい
- 最初にリサーチ・アドミニストレータの仕事について・・・各国の状況の共有
- 研究評価について・・・SYMPLECTICが仕事をしている各国における、政府による研究の評価
- 「ランキング・ゲーム」・・・多くの大学にとって意味を持ち出している大学ランキングについて。どうされているか、あるいは外からどう見られているか。産業界や学生の意識は？
- オープンアクセス・・・リサーチ・アドミニストレーションにおいてここ５年間、重要性を増している考え方。図書館員あるいはリサーチ情報マネージャーとしてどう協業するのが重要なのか？
- 戦略的な意思決定・・・何をサポートしようとしているのか？
- SYMPLECTICのツールによってどうそれを実現できるのか？
リサーチ・アドミニストレーション
- 非常に新しい領域
- 英国では1990年代はじめからリサーチ・アセスメントが行われていたが、プロとしてのリサーチ・アドミニストレーターの登場はごく最近のこと
- 世界のどの国かによってリサーチ・アドミニストレーターのタイプや必要なスキルセットは異なっている
- リサーチ・アドミニストレーションは複数の側面を持つパズルのピース
- 一枚岩ではない、スキルもいろいろある
- ぴったりはまりあうことで必要なニーズに答えられる
- リサーチ・アドミニストレーションとは？
- 情報という側面から考える
- スーパーマーケット（文化堂）の写真をスライドに表示・・・スーパーマーケットは非常に情報の扱いに長けている
- スーパーマーケットでは売れ筋の商品／頻度／どれくらい売れるか／独自ブランドとナショナルブランドどちらが売れるか／記事にとりあげられたものなどを全て理解して店頭商品を決めている
- 大学は？ 自身の成果をあまり理解はしていない
- そこでリサーチ・アドミニストレーション・・・大学として使える情報／どれくらい評価されるかを理解した上でプロセスを導いたり意思決定する領域
- そこで図書館員が最適な立場にある。大学の意思決定に大きく寄与できる
- 英国におけるリサーチ・アドミニストレーション／リサーチ情報管理
- どのような大学も教員・研究者を評価するとなるとなかなかデリケート／政治的な問題
- 研究者は評価・管理を好まない。慎重な扱いが必要
- 教員・研究者を取り込み、うまく対応しながらやることで、納得してもらえるようになる
- 教員・研究者の信頼を、リサーチ・アドミニストレーターは勝ち取らなければいけない。そのために必要なのはこの領域の知識
- 長年に渡り学者と付き合いのある図書館員は信頼がすでにあり、最も適した立場と言える。チームの信頼に足るパートナー
- この領域は非常に複雑でエコシステムも成り立っている。それを把握している人は学者にとっても信頼に足る相手
- SYMPLECTICがツールを提供する市場においては国や大学が協力することでリサーチ・アドミニストレーターのサポート機関を創設している。協会だったり業界団体であったり
- ARMA、ARMS、EARMA、INORMS and others…
- 他に標準化のための団体も重要。データを外部の団体・機関も読めるための標準化が重要。カナダにはCASRAIという団体もすでに
- 日本でも最近、同様の協会が設立されたという。今こそ図書館員・情報プロが加盟することで、どんな貢献ができるかをその場に投じることができるのでは？
- 研究者とどのように協働していく？
- 重要なのは対立せず、研究者の生活・活動を楽にすること
- アクセスのシングル・ポイントに／日常のワークフローに統合されていること
- 好ましい行動をどう惹起する？
「非常に多いフィードバック」「行動・行為に対して不釣り合いな報奨」（disproportionate feedback）の考え方・・・例えば、なぜ男性はコンピュータゲームをするのか？ *1- 画面右上にスコアが出る、その数字をできるだけ多くしたいから。そのために何時間もゲームをする
- 研究者を引き込むにはシステムがゲームのように取り組めるものであることが重要。統計・スコアリング等の情報を与え、世界で自らがどれくらいのランキングかわかるようにすることで、ゲームの中でランキングを上げようとさせること
- 提供しているツールの中に外部要因・世界の文脈上での自分の立場がわかるようなものを
- 現在の研究領域内での機関の位置付けなどを可視化できるようにする必要
- 重要なのは対立せず、研究者の生活・活動を楽にすること
研究評価
「非常に多いフィードバック」disproportionate feedbackの究極形・・・政府がある大学の成果物をどう評価するかにあらわれる- 英国では1992年から、大学の成果の評価の取り組みが始まっている（RAE)
- ただしこれを「disproportionate」というのには異論もあるかも？*2
- 2-3年ごとに、英国の多くの大学はシンプルなスコアを得るためにとてつもない労力を強いられている
- そのスコアがその後の5-6年にわたり、大学・機関への世間、助成機関、学生からの認識を決定してしまう
- RAEはREF（Research Excellence Framework）に。直近はREF2014
- REFでははじめてビブリオメトリクスの考え方を導入する。引用・引用分析が評価の大きな項目となる
- 英国のリサーチ・アドミニストレーションで大きな関心を呼ぶ。「ビブリオメトリクスの専門家にならなければ」と多くの人が思うように
- 政府がREF2014でビブリオメトリクスを必須にしたことで、英国でビブリオメトリクスへの理解は一番高くなっていると思う
- 新しい領域ゆえに疑念・恐れを抱く人もいるが・・・ビブリオメトリクスとは文脈理解にほかならない。ある領域の研究を別領域とは比較できないし、同一領域内でも比較は不適切なこともある
- どのようにデータを正しく用いることができるか、研究者の理解を得られるのは図書館員コミュニティだろうし、そのコミュニティこそビブリオメトリクスへの信頼度も高めるものと思う
- 英国では1992年から、大学の成果の評価の取り組みが始まっている（RAE)
- 英国以外の研究評価機関の紹介
- 研究評価のこれまで・・・過去20年間、一貫して増えてきている
- 研究評価の指標になりうるものは？
-
- ある意味では悪循環の傾向も？
-
-
- 論文数・特許数等の機関から出てくるデータ量
- ほかにもベンチャー企業の数など・・・目に見える成果にまず注目が集まる
- 英国・REFでは出版量の占める割合は下がる
- オーストラリアでも助成金等は評価されるが、一番の対象はやはり論文
- どの評価でも、どう成果をランキングするかは異なっていて、デリケートな領域でもある
- 英国RAEでは評価対象機関の研究者は、対象期間の成果物を4つ選択し、justification statement = そこに出す正当性を示す書類をつけて出す。それが各領域の審査員に評価される
- 評価のたびに何十万件もの成果物をプロが査読する。それを以ってランキングが行われる
- 引用件数を使えば評価の作業が楽になる？ 引用を見れば済むというなら作業はずっとシンプルに！
- ところが・・・この方法を精査すると、思った以上に複雑なこともわかる。引用の意図（肯定・否定）、領域間の比較ができるような正規化
- オーストラリアでは引用件数の分析には雑誌が特定され、その中での引用がものを言う
- 英国では虚栄心をくすぐるというか、レベルの高い成果物とは何かについて学者の間でのランキングがある。ジャーナルに掲載される方が特許よりも学者間では評価される、など
- プレプリントやデータは評価の対象に英国ではならない。学術領域内では膨大なデータの維持が大変な作業だったり学術研究の血液とも言える存在であるにも関わらず、研究評価にはカウントされない
- どの段階でカウントするか？ オープンアクセスにしたものの発表直後からカウントしだすか、雑誌掲載日からか？
- 引用・インパクトファクターについても考えだすとさらに複雑に・・・
- 英国では以前は論文掲載誌のインパクトファクターでランキングを実施
- 極めつけ、オーストラリアのERA2012ではジャーナルの重み付けが政府から発表された
- 主要な方法でこれだけ複雑。全体像はどれだけ複雑か・・・
- 図書館員こそがこのあたりの情報を研究者に伝え、評価の複雑さを理解してもらう上で最適なのでは？
- 論文数・特許数等の機関から出てくるデータ量
-
- 競争的資金の件数？
- 評価全体の中での割合は大きくはない。大きくしてしまうと競争的資金の申請がうまいところに偏りすぎる
- 競争的資金の件数？
- 同定問題
- ある研究者の論文・助成金リストを作るのは簡単にそうに思えるかも知れないが、個人識別はしにくいし、難しい
- ID管理については様々なIDがすでにある・・・この話だけで終わってしまうようなテーマなので深掘りはしないが一言触れてはおきたい
ランキング・ゲーム
- 今年、ベルギーでこのテーマに特化した会議も・・・EUはこのアプローチをいかに取り込めるか？
- 最終的には政府の評価にもつながる？
- ランキングは様々あるが、それぞれアプローチは異なる
- もっともしっかりしたランキング・・・Times Higher Education （THE) ランキング
- 公開型／オープンな手法。大学に膨大なデータを要求するが、それをどう扱いランキングするかの手法についてwebサイトで公開
- 方法が公開されているので上げるための努力もできるし、毎回フィードバックを受けて方法論は変わっても要る
- ただし、様々な手法が用いられていることで、異なる評価を比較することはできなくもなっている・・・一方で時代背景を反映した評価ではある
オープンアクセス
- いかに出版された論文が入手可能になるか？
- 英国においてRCUKがどんなアプローチを取っているか？
- 基本的に、研究成果は資金提供者としっかりリンクをはる、APIを使ってその成果を結びつけることも求められている
- PeerJ・・・新型のオープンアクセス雑誌
- 研究者は生涯利用料をPeerJに払うと、毎年決められた本数の論文をPeerJで公開できる
- figshare・・・研究データの共有システム
- 肯定／否定的なデータすべてを共有する
- 否定的な実験成果は論文として公開されないが、実験自体には価値がある。情報共有で否定的な結果になる実験が繰り返される無駄を省ける
- オープンアクセス・・・思っている以上に広がっている
- 今後はオープンアクセスでの、情報の利活用がさらに進むと考えられる
戦略的な意思決定を行う
- 膨大な量のデータが存在する・・・大学・研究機関が意思決定を行う際にはそこから意味のある情報を含んだレポートを抜き出す必要
- いくつかの例をスライドに表示
- サザンプトン大学と共同研究機関の例。共同研究には誤解が多い。本来、一番関心があるのは学際的な取り組みのはずだが、そのような使い方はされていない
- ある機関でどういったジャーナルに論文を出版していて、その論文の引用数や掲載誌のインパクトファクターは？
- いくつかの例をスライドに表示
- SYMPLECTIC Elements・・・SYMPLECTICの製品がこの分野でどのような役割を果たしうるか？
- 基本的には、複数の情報源から取ってきたデータを集めて、IDによって紐付けた上で、インタラクティブに・研究者がそのリンクを見られるようにする
- 情報管理がElementsだけで事足りる、ということを実現したい。ワンストップショップを目指す
- 複数のデータソースから文献情報を収集可能・・・容易に文献リストを作成できる
- 基本的には、複数の情報源から取ってきたデータを集めて、IDによって紐付けた上で、インタラクティブに・研究者がそのリンクを見られるようにする
- Elementsのワークフロー
- プロセスをシンプルにすることで無理なくワークフローを日々の作業に取り込める
- 研究者は自らの検索用プロファイルを作成。それが複数のDBに送られる
- データソースには他システムのIDも使える。ORCID IDを使うなど
- 検索が終わると研究者に文献リスト搭載候補をメールで送る・・・自身の文献か否か本人がチェックできる
- 研究者にやることを押し付けるのではなく「これでいかがでしょうか？」をシステムが提示。かなり楽？
- 各研究者のレポートを提示できる標準レポートや、どういう領域かといった詳細情報表示機能など
- どのくらい引用されているか／引用されやすいのか、ということも一瞥できる
- スコアが出てくるので、ゲームの話しをしたときのまさに「disproportionate」なフィードバックになる
- 実際、多くの研究者がどれくらい自身の論文が引用されているか知りたい、ということでElementsを使っている
- 最後に：これまでは「引用」、過去の評価／履歴的な評価が行われてきた・・・
- 本日のテーマ・スライドに出したことは、すべて図書館の皆様が価値ある働きができるところと思う
- 図書館員がこれからの方向性を定められる分野なのでは
- 「情報を管理する」背景を皆さんは持っている。特定領域のデータ利用や文脈付けには長けているはず。だからこそ、データを最良の形で使うには、という領域で果たせる役割は大きいのでは？
質疑応答（ファシリテーション：宮入暢子さん、NPG ネイチャーアジア・パシフィック）
- 宮入さん：（まずフックさんのお話の概括・・・ここは省略）
- Q. ご紹介いただいたツールで研究者評価にいろいろなやり方が出る可能性があると思う。出版・引用数だけではない、特にaltmetricsで社会科学系の評価もできるようになる。リサーチ・アドミニストレーターの立場としては、大学の研究者にもいろいろなタイプがいる、分野が違うだけではなく同分野でもスタイルが違って、引用や出版数ではなくテレビの知名度で学生を集める研究者もいる。ここで聞きたいのは、SYMPLECTICは研究者のスタイルをパターン化・分類できる？ それに応じたパフォーマンスの最適な評価法を提供したりは？ さらに言えば地域性もあると思うが、それに即した評価は？
- A. 微妙かつ難しい質問。Elementsでは複数ソースのデータを集約することができる。今のご質問はデータの解釈について。例えばテレビ番組や伝統的メディアの登場頻度をどう評価するかということだろうが、まずはデータを集約した上でメタデータを作る必要があるのではないか。
- 宮入さん：Elementsは非常にカスタマイズ可能なソリューション。TV出演も研究者が入力さえすれば数えられるようカスタマイズできる。カスタマイズの数にも制限はない。
- Q. 拡張性の前に、今ある指標の中で研究者のパターン化は行われている？
- A. 一定レベルまでは可能と思うが、今このシステムで欠如しているのはベンチマークデータ。ベンチマークにはかなり多量のデータが母数として必要。機関で登録している研究者数が十分であればある程度のカテゴリ・パターン化はできるかと思う。私自身にも重要なことで、私自身は理論物理学者なので実験物理よりも引用が少ないとか、理論物理の中でもさらに引用が少ない分野だったりとかする。どのタイプとフィットするか、というのは重要で、母数があればある程度は可能かと思う。
- 宮入さん：Elementsは機関単位のソリューションなので、国・分野のベンチマークデータがないことを問題視していた。国で導入すれば一国としてはできるが・・・。
- 佐藤：導入期間全体の中での自分の機関や自分自身の位置を見たりは？
- A. できます。
「なぜ人はPCゲームをずっとやってしまうのか」や「虚栄心をくすぐる」あたりをフックさんが突かれているのはさすがというか、「これはキタな！」とか思ったり。
ゲーミフィケーションとは最近いろんなところで耳にしますが、論文を書いて業績リストが伸びるとなんか嬉しいとか、定期的に引用状況をチェックして他の人とつい比べちゃったりとか、よくやりますよね？（自分だけだったら恥ずかしい・・・
まさにスコアが伸びると嬉しいというか、だんだんそれ自体も楽しくなってきてResearchmap.jpの更新時にニマニマしたり・・・いや、業績に限らず、はてなブックマークされた数とか、TweetがRTされた回数とか、fav数とか、ついつい気になって、数字が出て「あと何回で○位です」とか言われちゃうと目指しちゃったり・・・
そういう心理を突いて研究者に行動してもらおう、というのはいいアプローチではないかと思います。
そりゃ、やっちゃいますよ。
さらに最後にベンチマークの話も出てきましたが、これも他の方のご質問にあるとおり、いくつかの類型を作ってその中での位置がわかったりすると楽しいですね。
分野とかはもちろんですが、例えば「あなたは卓越研究型です」とか「あなたは業績量産型です」とか「教育重視型です」とか「メディア露出型です」とか・・・。
数年前に当ブログでとりあげた「研究者人生ゲーム」ではまさに、自分がどんな研究者を目指したいかをまず選んでそれに向けて業績を積んだり学生を育成する、というスタイルでしたが*4、実世界で同様に自分がどんなタイプなのかを客観指標で見ながら、それをさらに極めるか別の路線に行くのか・・・とかを選べるとすごく楽しそうだな、と。
ゲーム的に言えばクラスチェンジとかジョブチェンジ！ （＊注：ゲームと現実の垣根が相当曖昧に思えてきています）
その他にはaltmetricsについてもさらっと言及されていましたが、「社会科学系に光をあてる」という観点は素晴らしいと思います。
引用指標だとどうしても生産数の違う自然科学系に水をあけられる社会科学系ですが、比較的研究者以外の方も理解しやすい内容で日常生活との関わりも深い分、ソーシャルメディアでの言及などは当然多くなりうるわけで。
そういう側面にも光をあてられる指標としてのaltmetricsというのは、これは実に面白い考え方で、ほかにも日本語論文（多くは現在の引用文献索引に入っておらず引用データ自体ない）についても、そういう観点から分析してみると面白そうだな、なんて思ったりも。
当然あまりそれを重視しすぎると不正操作しやすい等の問題はあるのですが・・・いやいや、面白いタネはいろいろなところにありますね！
さて、これにて当ブログでの図書館総合展参加記録シリーズは一段落です。
もう一件、参加して来たフォーラムはあるのですが、それについてはまた後ほど、公式記録がアップされ次第の言及ということで・・・近日中には。
総合展も３日目が終わりましたが、明日からは今日までの内容を咀嚼したり、整理したり、それを自分の活動に生かしたりのターンですね。
日本図書館情報学会⇒総合展のコンボで今年は大変でしたが面白くもありました・・・さあ、明日からは！・・・明日くらいは家で寝てようかな・・・・・・
*1:2012-12-04 表現修正。主催者の方から、用語についてご指摘いただきました。"ゲームの世界で、「なんでもないいくつかのこと」を達成すると、突然パワーアップしたり、現実にはあり得ないような能力が生まれ"るように、例えば"マリオがコインをいくつかゲットすると、高くジャンプできるとかモンスターを飛び越せるとか"いうように、"Symplectic Elementsのようなツールに大学の研究成果を入力するという「単純作業」によって、巨額の研究資金配分が行われる、という事情を指して、この用語が使われていた"とのことです。ご指摘ありがとうございましたm(_ _)m
*2:2012-12-04 追記。これも主催者の方から、"（実際にはすごい労力を強いられる）RAEの仕組みとそれに対する報奨をdisproportionateというには異論があるかも"という意味で「異論があるかも」とおっしゃっていた、と教えていただきました
*3:2012-12-04 追記。メモをとっていて自分でも「SHERPA/RoMEOに"出す"」ってどういうことだ・・・と思っていたのですが、これも主催の方から詳しくご説明いただきました。"Elementsの中に取り込まれた研究業績のうち、雑誌論文でSHERPA/RoMEOでOAライセンスのチェックし、なおかつ自大学の機関リポジトリにそのフルテキストがすでにデポジットされているかどうかをチェック"した上で、リポジトリに登録できるものが何件あり、うち何件を実際に登録しているか（あるいはSHERPA/RoMEO上でどういう扱いになっているものを登録しているか）を図示してくれる機能があるそうです。これは便利！ ぜひSCPJの取り込み機能もつくと良いですね！
