被引用数による研究評価は絶対数だけでなく相対的な位置を見ることに意味がある（世界大学ランキングと研究評価の新時代：ワールドクラスの大学をめざすために 第２部「大学・研究評価の実際」参加記録）
前エントリ*1に引き続き、トムソン・ロイター主催の世界大学ランキングシンポジウム参加記録です。
第２部は「大学・研究評価の実際」と題し、被引用数等のトムソン・ロイターのデータを用いた研究評価の実際についての紹介。
ポイントは「世界平均、分野平均と自分たちを比較する」視点？
以下、例によってイベントのメモですが例のごとくmin2-flyが聞きとれた／理解できた／書きとれた範囲のものなので、事実錯誤等含まれる可能性があります。
間違い等発見された場合にはコメント欄等を通じご指摘いただければ幸いです。
特に今回、ビジュアルを用いた説明についてはメモ取っても全然伝わらなさそうなところもあり、ときどき記述が飛んだりしますがその点はご容赦願います。
では、午後はまずはPhilip Purnellさんのご講演から！
THOMSON REUTERS WEB OF SCIENCE: Research Assessment NEW DIRECTIONS（Philip Purnellさん、Thomson Reuters, Strategic Business Manager）
- 紹介
- はじめに
- 今日の話は研究評価の一部。主に被引用分析について。
- WoSは出版・被引用数の広範なデータベースだが、その他の方法でも分析は可能
- WoSの収録雑誌コレクションをみると・・・
- 収録雑誌の40%が収録論文の80%、被引用数の92%を占める
- 世界中の論文をインデックス化する必要はない。WoSは影響力のある、重要なものを含んでいる
- 収録雑誌は一定の評価を超えたもの。それを超えないものはWoSに収録しない
- 毎年2,500の雑誌を新たに加えるかどうか検討し、200-300を実際に追加する
- 雑誌の質をどう定義しているのか？
- 収録雑誌の40%が収録論文の80%、被引用数の92%を占める
- WoSを使用している機関
- どうやって研究を評価するのか？：日本の場合
- 日本からは200万以上の論文がWoSに登録されている
- 1970, 80, 90年代には日本の論文の5.7%にアメリカ出身の共著者、他の国との研究も増えている
- さらにこの10年で国際共著論文は増加。米国とは7%、ドイツとの共同研究は２倍、中国とは３倍に増えた
- 日本からの論文の国際性が高まっている
- 研究分野ごとに、世界における論文数のシェアを見る
- 生物学では約10%の論文が日本発、論文１本あたりの被引用数は6.4。動植物学では平均被引用数は3.5。どちらがいい？
- どちらがいいかは言えない。分野によって傾向には差があるから
- そこで世界平均と比べる。動植物学は世界平均以上よりも良く引用されており、世界との比較でみると良いパーフォーマンスをあげていると言える
- 材料科学では論文の12%に日本人著者／材料科学論文は日本全体の論文の7%
- 生物学では約10%の論文が日本発、論文１本あたりの被引用数は6.4。動植物学では平均被引用数は3.5。どちらがいい？
- 日本からは200万以上の論文がWoSに登録されている
- 海外機関・国内等での利用
- 論文の評価
- "Food Policy"誌・・・論文の30%は全く引用されていない。これは普通のこと
- 被引用数の分布を見ると、全く引用されていない論文が多い。このような論文に雑誌のインパクト・ファクターを見るのは適当ではない
- 非常によく引用される少数の論文、例えば900回以上引用される論文もある
- 同誌のIFは2。インパクト・ファクターを研究者ごとに計算するのは意味がない
- 個々の論文はそれぞれの被引用数を見なければいけない。WoSでは個々の論文の数字が見られる
- 見られるもの：被引用数、expected citation（被引用期待値）＝その論文が掲載された雑誌における同一種別の同年の論文の平均の被引用数、分野における被引用期待値
- その論文が期待される値に対してより引用されているのか否かがわかる
- 見られるもの：被引用数、expected citation（被引用期待値）＝その論文が掲載された雑誌における同一種別の同年の論文の平均の被引用数、分野における被引用期待値
- 研究機関を評価するには？
- すべての論文を評価しなければいけない
- 論文の累積・・・ある著者が出した全ての論文をまとめて行列に
- 誰が論文のアウトプットを担っているのかがわかる
- 質は被引用数によって代替する。論文あたりの被引用数を見るなど
- 分野によって引用動向には差がある／高齢であるほど、出版年が古いほど被引用数が増えるので、正規化も行う
- これによって歴史学者と遺伝学者を比較する、といったことも可能に
- 論文の累積・・・ある著者が出した全ての論文をまとめて行列に
- 学部ごとの評価も可能
- Center of Excellenceもわかる。物理学とコンピュータサイエンスを比べる等
- すべての論文を評価しなければいけない
- WoSのインデックス・ポリシー
- インデックスすると決めた雑誌は全ての記事をインデックスする。その著者、所属機関も全てインデックスする
- 今後のトレンドについて
- 著者名への対応
- ex) Watanabe, Aは3,000人以上のpaper, X Liは10,000本以上のpaperがヒットする。同名異人問題
- "Science"では研究者個々人にIDを与えるべき、との記事も
- トムソン・ロイターではResearcher IDを開発・無料提供
- WoS中の論文を研究者名で検索、ヒットしたものを研究者自身が見て自分の論文をチェックする
- 正確なpublication listができる。個々人の論文数、被引用数、h-index等の数字も閲覧可能に
- 共同研究の状況、引用された文献の分析も可能。地理的な分布をプロットすること等もできる
- これをwebサイトで活用する機関も。大阪大学では実際に使用
- 大学レベルでは、機関がリストを一括でアップロードし、Researcher IDを付与して空のプロフィールを研究者に提供、という仕組みも
- Researcher IDが嫌なら、webサービスを使ってWoSへのクエリを投げることもできる
- 手持ちの論文リストに対する被引用データを全て入手可能
- Researcher IDからはリンクも貼られている。JCRから掲載雑誌のIFの状況や、各論文の被引用論文のlive link、類似文献等も閲覧可能
- NCI Budget Tool
- Discovery Logic社を買収。被引用分析以外の評価を可能にするツールを世界的に公開する
- ファンディングの評価
- 著者名への対応
- まとめ
- 被引用数は研究評価の一部
- 統計的な分析は文脈も把握しなければならない
研究評価ツールの実際（棚橋佳子さん、トムソン・ロイター学術情報ソリューションシニア・ディレクター）
- 紹介
- ISIが日本事務所を立ち上げた頃からのメンバー
- 日本において引用索引の概念を研究者以外にわかりやすく広めた、ということでは第一人者
- 事業としてのサイエンスを戦略的に進めるための方法について、実際の評価ツールを用いた分析方法を紹介する
- データ提供のみならず、ここの顧客に対応した動きが必要になってきた
- 研究プロセスと研究評価
- 研究評価は研究ワークフローの色々なフェーズで行われる
- 戦略立案、資金の獲得、成果の周知・・・すべて電子化された情報としてざっくり／細かくデータが取れるように
- 最近のトレンドとして、サイエンスをビジネスと捉えることが必要に
- 研究評価は研究ワークフローの色々なフェーズで行われる
- ビジネス・オブ・サイエンス
- 事業としてのサイエンス、戦略的必然性
- 2009.7に日本企業対象に特許戦略のシンポジウムを開催
- 日本は特許は多くてもビジネスにつながっていない。なぜビジネスで負ける？
- 企業においても技術、戦略立案、営業が必要
- サイエンスでも実践のみでなく、確固たる地位を固めるためのビジネスの位置付けを明確にする必要がある
- 研究資金獲得、優秀な学生／研究者の確保・・・
- 日本は特許は多くてもビジネスにつながっていない。なぜビジネスで負ける？
- データベース産業としての立場から：
- 従来・・・データを作成、データベース化して提供
- 学術ジャーナルの選定、被引用リンクの付与、手法化して知識として提供・・・ビジネス・オブ・サイエンスへ
- 研究のワークフローと評価プログラムの統合、研究のステップの中で使えるように
- すべてのデータを一体化させて、人間の力で必要となるデータと知識を活用する
- 従来・・・データを作成、データベース化して提供
- 「何のために？」「誰を？」
- 研究機関を知る
- 必要な準備
- 現状と課題の把握：決断のためのトップダウン・レビューのための客観的データ
- どこが成長しているか、強み・弱みは？
- 目標達成のための評価項目の設定
- 各項目の評価基準の設定
- データの活用で成功するには？
- 見せたいものがイメージできていること、分野内での確固たる地位を示したい、というものがあればデータは使いやすい
- 今の位置がわからないときは競争相手と比較しながら見ることも出発点になる
- 必要な準備
- 定量分析とピアレビュー
- 何をどう測るか？
- 実際にデータを見る：ESIから抽出した世界のトップ1%論文について
- 大阪大学・・・ESIの22分野のうち、15分野がトップ1%の論文輩出について卓越
- 過去5年間で学内で5%以上の論文を出している分野を見る・・・どの分野が顕著化を見られる／それをさらに論文数で割ることも
- 論文の平均被引用数では免疫学が非常に突出している。相対インパクトを見ると、免疫学だけでなく多くの分野が平均に
- 実数だけでなく世界平均との比較等が重要
- 論文の平均被引用数では免疫学が非常に突出している。相対インパクトを見ると、免疫学だけでなく多くの分野が平均に
- 時系列分析・・・5年windowで見る
- 世界平均以上である分野の推移が見られる／かなり上下しているものもあること等がわかる
- どこが伸びているかを見せられる
- 強い分野が特定できていればさらに効果的
- 競合相手との比較でも相対的な数値を見ることが効果的な場合も
- 韓国の例・・・論文数、総被引用数で優っているA大学と、引用された論文の割合、トップ1%論文の割合で優るB大学、と言った量VS質のケース
- 研究機関の研究者活動を詳細に分析する
- 研究者活動を広報する
- トムソン・ロイターの研究評価ツール
- Essential Science Indicator
- University Science Indicator：日本の大学・研究機関の分析
- Institutional Citation Report：機関内の論文の被引用分析
- InCites：上記３つを組み合わせた分析プラットフォーム
- ResearcherID：研究者名典拠に活用＋上記ツールを使えば確実な論文リストが入手可能
- 個別ニーズに応じたカスタムサービス
- University Science Indicator Japan (USI Japan)
- WoSのデータを使い、1981年から現在までのデータを統計化
- 操作の簡単なインタフェースも付与。手軽に使える・報告書作成等も簡単に
- 200あまりの機関を収録
- 研究評価サービス
- 実際に分析してみると特定のやりたいこと・オプションが出てくる
- 出てくる結果をわかりやすくまとめて欲しい、等の依頼も
- 実際にある大学のために研究動向をまとめる
- 部局別の比較まで実施
- 論文数、部局別生産数、１人あたりの論文数や被引用数の動向等をレポートにまとめる
- 将来的には機関内部のデータとの照合も視野に
- 世界平均と比べる、分野内平均と比べると言うのがどれくらい使えるかは現場で評価して欲しい
- 実際に分析してみると特定のやりたいこと・オプションが出てくる
- 今後進展するトムソン・ロイターのサービス
質疑応答（午後の発表２本分まとめて）
- Q：WoSはじめ非常にいいツールがあると思うが、問題はこうしたデータは読む側の見識が問われる。トロント大学が3位に入り、ミシガンやUCバークレーが下位にあるというとき、トロントは３位で喜んでいるが規模を考える必要がある。研究者はそのあたりがわかっているが、文科省等は全く意味のない分析をやって公表していたりもする。被引用数を分析するには読む側の注意がいるが、そのあたりを関係省庁に。公表しているところにはきちっとした教育的指導を。
- Purnellさん：おっしゃる通り。トロント大学の３位というのは、具体的には総被引用数を意図的に抽出している。自分たちが言いたいことを示している。統計と言うのは自分の言いたいことを言うように見せられるものである。統計分析には科学的分析を行わなければいけない。大学ではまず仮説を出し、適切な方法論を構築し、結果を出し結論を出す。人々がそれに対して批判をする。被引用数分析も同様で、批判やコメントが来るだろう。まず仮定を置き、どの方法を使うかを選ぶことになる。私は必ず２つ以上の手法を用いるよう提案している。トロント大は他の指標での順位はもっと下だろう。
- 棚橋さん：公に出している、影響力のあるものがそうなっているのならもう一度見直す必要がある。見方によってどんな見せ方もできる統計をできるだけフェアに見せられるようにしていきたい。
- Q：共同研究のために被引用数データが使えないかという提案もあったが、共同研究は国同士や大学、機関同士の過去の歴史や現場、研究分野の価値によって行っている。ランキングにしてこんな風に話してみると、逆の方向に共同研究が向く心配がある。たくさんデータがあるからって数値化して、あらゆる目的で使おうとするととんでもないことになるのではないか？
- Purnellさん：そうですね、今回は論文の数を足し上げてある大学が他の人とどんな共同研究をしているかを出した。どうデータを見るかで、どういう風にマイナスに働くかはわからない。
- 最後の部分。ということは、見方によってはある大学との共同研究はもうすべきではない、ということもできるのでは？
- Purnellさん；私ならもっと共同研究すべきだと思うが・・・
- 私の理解は全く逆。ではランクの低い所とはもう共同研究しなくていい、ということ？
- Purnellさん：そういうこともできるだろう。国ごとに見れば海外との共同研究にどれくらい投資をしているかを考えて見れば、投資に対するリターンが同じであった場合にはその投資を続けるべきか、例えば遠い国と共同研究すべきかと言うことが問題になる。
- しかし被引用数を得ることは共同研究の目的ではない。他に考慮すべきことがあるだろう。
- Q：研究者の評価で分析期間が重要とのことだが、研究機関でもそうではないか？ 長い伝統があったりすると有利。一時在籍だけでもカウントするか等きちんと定めることが必要だろう。
- Purnellさん：WoSのデータで見るのではなく論文のリストをいただければ。例えば大学の学部の名前、研究者のきちんとした名前などは皆さんがわかる。大学のリポジトリをベースに我々がそれを行えば、単に分野を見るだけではなくあなたの物理学部の研究者が出した論文を見ることもできる。これは機関にとってより有用。論文リストが得られたら、皆さんがレポーティングの責任を持っていただきたい。タイムスケールはご自分で指定できる。あなた自身が何をしたいかを決める。こちらはプラットフォームとデータを出す。
- 棚橋さん：ソースとして何を集めてそこから見るかと言うことで、前のキャリアも含むか、最近だけ見るか等、評価者がフレームを決めて見られるようにしたい。ある程度は用意もしている。
- Q：Researcher IDとWoSの関係性がよくわからない。WoSは論文情報取ってくるところで、Researcher IDについて大阪大学から正しい研究者一覧を出せばWoSでデータを取ってきて正しい研究論文リストが得られる？
- Purnellさん：そうではない。WoSにとっても訂正された情報が得られればメリットがあるが、もしそうすると訂正データと生データが混在する。現時点では保留中。どの機関でもクリーンデータが作れればいいが、現時点では。
- 棚橋さん：ただ、おっしゃるとおり全論文リストをいただければその分だけの被引用数データを提供できる。
- Q：もう１点。他にも研究者のSNSサービスはいくつかあるが、それに対するResearcher IDの特徴は？
- Q：WoSについて。多様性は・・・（聞きとれず）。個々の研究者について、勤続年数等も考慮されている？ 実際の勤続年数は検討に入る？
- Purnellさん：WoSの収録範囲は当初は遺伝子学の被引用だけであったが、異分野からも引用があるのでうまくいかない。そこで科学全体を作り、さらに社会科学から引用が来るので社会科学のインデックス、そして人文学のインデックスを作ることに。すべての研究を分野に関係なく網羅し、それを250の具体的分野に分けた。だいたい12,000の雑誌をカバーしており、編集委員会の主な役割は全分野の網羅を担保すること。
- Purnellさん：２番目について。我々はデータを提供し、皆様方がキャリアを評価する際に、休んでいる期間があればその期間を区切って評価することができるだろう。リポジトリからデータを貰っている例の一つに香港大学のものがあるが、そのデータには研究者の活動開始年や以前の機関での勤続年数も含まれている。そうしたデータをいただければ。
- 棚橋さん：収録範囲については、推薦があれば受け付けるし、社会科学や人文学については世界のデータベースの再見直しもここ数年行っている。その上でかなり加えてもいる。
- Purnellさん：A&H分野について、多くの研究成果は雑誌ではなく書籍やステージ上で発表される。したがって、トムソン・ロイターのようなところが他の種類の被引用数を記録して行くことも必要だろう。来年、もしできればbook citation indexも発表したいと考えている。まだ正式にはリリースできないが、できればいいと考えている。
閉会挨拶（渡辺麻子さん、トムソン・ロイター学術情報ソリューション シニア・マネージャー）
- 午前中は新しい試み、模索される大学評価と題して、新しい世界大学ランキングの取組みを発表させていただいた
- データ収集や分析についても紹介した
- 午後は大学・研究評価の実際と題して、より実践的な研究評価の方法、考え方を紹介した
- トムソン・ロイターは学術・引用情報の提供会社としてずっとやってきたが、THEとの連携で新たな一歩を踏み出した
- 国際的な競争環境にある機関の意志決定に役立つデータ・サービスを提供したい
- 模索中のところも多いが、皆様のご指導も賜りつつ取組みたい
最後にさらっとbook citation indexの話がっ。
今もCited Reference Search等を用いて本の被引用数（雑誌論文からの）を調べるといったことはできないわけではないのですが、本と本のCitationを扱うとなると収録基準をいちいち決めるのか出版者でざっくり決めるのかなど、これまで色々興味深いですね。
しかし今日の本題からはだいぶそれる（再三話題にあがったA&Hの評価には関係しますが）のでそれは置いておき。
午後、強調されていたのは世界平均との比較、分野平均との比較、被引用期待値との比較など、実数だけを見るのではなく相対的な位置を見るとこで評価しよう、というという点ですね。
このあたりはトムソン・ロイターは近年ずっと各所で言い続けられているわけですが、まだまだ徹底されていないということでインパクト・ファクターの誤用への警告と同様にこれからも引き続き指摘されていくのでは、とか。
また、単純なデータ提供だけでなく機関に寄り添ったサービスも行う、というところでこれらの点はますます重要になるということもあるのかと思います。
基本的には機関で論文リスト等を構築することができればトムソン・ロイター側からのデータ提供や分析はより容易に／正確に行えるようになるとのことで、プレゼン中幾度か出てきましたが機関リポジトリ等をここに用いることも含めて、色々可能性がありそうです。
そんなこんなで、大変示唆に富んだ第１部＆第２部でした。
これにてイベントラッシュ第１日目は終了。
明日は国立情報学研究所で開催されるCSI委託事業報告交流会に行ってきますっ。
