「学術評価を考える」（第１回SPARC Japanセミナー2012）
前回、SPARC Japanセミナーの記録をアップしてから早約２ヶ月（汗）
年度末〜年度頭はいろいろ立て込むとはいえ、ずいぶん更新をサボってしまった当ブログですが、SPARC Japanセミナー新年度シリーズ開始にあわせて更新再開ですよー（どれだけコンテンツの中身をNIIに負っているのか・・・）
ってことで平成24年度最初のSPARC Japanセミナーに行って来ました！
研究活動を取り巻く環境の変化、とりわけ学術情報流通の劇的変化や研究の学際化により、従来の評価基準・方法では学術評価を行うことが難しくなってきています。ある研究機関における特定研究分野の優位性などを正しく評価しておくことは、研究戦略の立案や資金配分の最適化・効率化、共同研究の促進、さらには国際競争力の強化を図ることを可能にします。今回は国内外の「学術評価」にスポットを当て、学術評価のあり方や手法に関して検討してみます。多くのみなさまのご来場をお待ちします。（当日は通訳がつきます）
サボりがちの昨今といえど、今回ばかりは外せない、研究評価の話。
しかもElsevierからはKolmanさん（一昨年にとある国際会議でお会いして以来、今回でお目にかかるのは三度目で、顔も覚えてもらえていたようでした）、トムソン・ロイターからは広瀬さん、NIIから孫先生という豪華メンバーとなれば、これは行かざるをえないだろうと。
実際、Kolmanさんのお話（Brain drain ⇒Brain circulation）については前回お聞きした際より具体的な中身が出てきていましたし、他の皆さんのお話も時代はどんどん先に進んでいっているなあ・・・という感じで大変面白かったです。
以下、当日の記録（メモ）です。
例によって例のごとく（というほど更新できていないですが、最近）、min2-flyの聞き取れた／理解できた／書取れた範囲でのものであり、中でも講演者のお１人、Kolmanさんのご発言については通訳されていない部分でも聞き取れて面白いと思った部分は勝手に書き足しているので、いつも以上に不完全な部分もあるかと思います。
ご利用の際はその点、ご留意いただければ幸いです。
誤字脱字・事実誤認等、お気づきの点があればコメント等でご指摘いただければと思います。
では、まずは新年度セミナー開始に伴う安達先生のお話から。
開会挨拶（安達淳先生、国立情報学研究所コンテンツ科学研究系教授）
- 年度最初のセミナーでもあるので少しお話を
- SPARC Japanの活動は今年で9年目
- 基本的には学術雑誌・情報のオープンアクセス（OA)を大学図書館と連携してどう進めるかが活動のポイントになっている
- 従来からOAについて考えてきたが、あまり強い主張はしてこなかった
- とは言っても・・・OAは巧妙な仕組みでもある
- 欧米の出版社のビジネス展開はこれまでのセミナーでも話してきた
- 我が国の状況はきわめてナイーブ
- 今日の話・・・OAの上にどのような付加価値をつけていくか、新たなビジネスモデルの話
- 昨年度は震災の混乱で不手際もあったが、今年度はしっかり未来を見て活動を進めていきたい
- 本日は御三方から発表いただく。遠くからも来ていただいた
- 皆さんも是非、今後の学術情報の使い方とそれによる評価の問題について、ディスカッションにご参加いただきたい
「研究活動分析における革新的な取り組み：Discovery, Collaboration, Evaluation 機関の意思決定を支援」（Michiel Kolmanさん、エルゼビア シニア・バイス・プレジデント）
はじめに
- 安達先生にこの回のお話をいただいたのはほぼ１年前。やっと実現して嬉しい
- OAの話があったので少しだけ：
- SpringerもElsevierも今では色んな形で出版可能
- 継続可能な方法論が必要。日本でも助成がついたというのは嬉しい
- 本題に戻って：世界的な競争
- ElsevierとRoyal Societyによる共同研究：世界の研究開発費のグラフ
- アメリカが１位。中国が伸びている。日本はそれなり
- こういったグラフは取り扱いに注意がいるが、大きなトレンドを示している
- ElsevierとRoyal Societyによる共同研究：世界の研究開発費のグラフ
- 世界的な共同研究：
- 国際共著の割合は今日では40%。他国の著者と一緒に書くことが多い
- 競争的資金の獲得：競争は激化している
- NIHの助成・・・申請数は増えているが獲得数は変わらない＝獲得率は下がっている
- 現在では5件に1件しか申請を通らない
- 世界中の研究機関と話す中でよくある３つの質問：
- どのような領域の研究に投資すべきか
- 誰を採用すべきか／学内に残すべきか
- 研究者の移動が盛んに・・・生産性の高い人を残すには？
- 学際的な研究チームを作るには？
上位20カ国の比較：リーダーシップをどのように特定するのか？
- １．論文の出版数／増加率（2006-2010）
- ２．被引用数
- 論文あたり被引用数：トップ21カ国（2006-2010）
- 論文数のグラフとは全然違う・・・スイス、オランダ、ベルギー等のヨーロッパの小国で非常に高い数字
- 日本は4本／論文。悪くはないがドイツ・イギリスほどではない
- 中国・インド・ブラジル等は伸び率は高かったが被引用数は少ない（２本／論文程度）
- ３．引用論文中における新しい論文の割合
- 2012年に出版した論文の参考文献が2012・2011等新しければ最新のものを引用＝ポジティブ、と定義
- 1950-1960年のような古いものだとネガティブな数値が出る
- 数学等では使えないが、ライフサイエンス分野等であればあまり古いものの引用は好ましくない（ので、この指標が使える）
- スイス、オランダ、ベルギーなどは新しいものを引用・・・質と関連？
- 日本は平均的な数値
- ロシア、ブラジル、インド等は古いものを引用する傾向
- 例外は中国。中国だけは最新のものをよく引用＝新しいものを引用しているところは質が高い、という傾向の例外となっている
- 2012年に出版した論文の参考文献が2012・2011等新しければ最新のものを引用＝ポジティブ、と定義
具体的に日本の研究の強みを探る
- ３つのリーダーシップ：
- publication：相対的な出版量が多い場合
- reference：よく引用されている場合
- innovation：より新しいものを引用している場合
- 日本の研究の強みのマップ
- 日本の出版の全体像：
- 日本の出版論文数中、「強み」に貢献しているのは32.5%
- 「強み」と言える領域は398
- 全出版論文と「強み」論文の比較：
- 社会科学は全体では2%だが強みは0%・・・英語／日本語圏の差
- 数物系・・・全体では15%だが強みの中では約4分の1・・・日本の強みを成している
- 他国の状況との比較：日本と英米中
- 日本：コンピュータサイエンス、数物形、化学・工学、医学に強み
- イギリス：医学・ヘルスサイエンスと社会科学に強み（強みの数は日本と大差ないが領域に差）
- アメリカ：そもそもほぼすべての領域で強み。割りとつまらない図。ただ、医学では他を圧倒
- 中国：医学にはあまり存在感なし。コンピュータサイエンスや工学など、医学以外は日本と同じようなところに強みを持つ
日本の強みをさらに細かく見ていく
- 日本のマップの中で世界の中での論文出版量が伸びている領域：
- ロボティックシステム／核物理学／植物病理学・・・
日本の国際共同研究
- 日本の年間論文数は10万程度。うち4分の1程度が国際共著論文
- 他国と比較すると・・・？
- 日英は出版量はだいたい同じくらいだが、国際共著はイギリスは40%程度、日本は25%程度。イギリスは国際共著が多い
- アメリカは自国内でも共著は充足できるくらい大きいが、それでも30%程度
- 中国は思いのほか低い＋最近、国際共著率が下がっている。15%程度。ただし今後は変わるかも？
機関単位での分析
- 東大の場合
- 年間1万の論文／国内の論文の9%程度を東大が占める
- 新しい共同研究相手を探すときにはどうScivalを使う？
- 「強み」の中で他の大学も「強み」を共有している部分を見ていく
- それと実際の共著の数を比較すれば、共有している「強み」の中で共同研究になっていない部分を特定できる
- そこを狙って共同研究をしていく？
- 海外機関とも同様の分析はできる。東大の場合、ハーバードと共有している強みの半分以上は共同研究になっていない・・・そこに可能性
- 「強み」の中で他の大学も「強み」を共有している部分を見ていく
- 慶應の場合：
- 年間2,000本の論文／国内シェア2%
- 大阪大とはたくさんの共同研究があるが、まだ共同研究できる可能性のある強みはある
- 海外機関との機会を探すと・・・東大とは違う結果も。医学領域に強みのある機関が多い。そこに機会がある
Elsevier ×イギリス政府が共同でやったBIS reportの紹介
- イギリスの研究がどういう状態かを探るために実施
- 日本の場合の参考にも？
- BIS reportの実施方法：
- SCOPUS、SD、OECD等の掲載論文／被引用数／ダウンロードデータ等を使用
- 共同研究ネットワーク／研究者の移動／強み等の分析を実施
- 共同研究ネットワークの分析：
- 一番強いパートナーはアメリカ
- ヨーロッパの小国群とも強い共同研究関係
- ブラジル等や韓国、日本との共同研究はそれほど多くない
- 研究者の移動関係（Brain circulation）：
- イギリスで大きな問題となっている・・・海外からイギリスに低い学費で勉強しにきて、一生懸命教育したのに外に出ていってしまう問題（Brain drain）
- ４つのグループに分けた分析：
- イギリスから出ていってしまう（outflow）：生産性は平均より低い
- イギリスに入ってくる（inflow）：生産性は平均よりやや高い
- 一時的に出ていくけど戻ってくる（transitory）：生産性はかなり高い・・・特に出ていってすぐ帰ってくる人が一番生産性が高い
- ずっとイギリスに残っている（UK only）：生産性は低い
- 海外に一瞬、出してすぐ戻ってきてもらうのが一番生産性が高くなる？？
- Brain drainは起こっていない／Brain circulation
- イギリスでは「みんなアメリカに行ってしまう」と思われていたが、アメリカに行くのは出ていく中で28%／アメリカから来ているのは海外からの26%。最も多いのはアメリカにいってすぐ帰ってくるパターンで海外に出るうちの50%／60%以上の人はなんらかの形で一度は海外にでていた
- 日本の場合は？：研究者の移動関係・・・まだ終わっていないので資料には含んでいないが・・・
- 日本から出ていく研究者の生産性：0.95で平均以下（平均を1.0と正規化した場合）
- 中に入ってくる：1.49でイギリスよりいい
- 2年くらい外に行って帰ってくるグループもいい
- ずっと日本にいる研究者はやはり平均より低いが、イギリスよりはいい
- 一番いいのはやはり海外に行って、2年以内に帰ってくる研究者
- しかし日本とイギリスには大きな違い・・・移動経験者の割合。イギリスでは3分の1だけがずっとイギリスにいるが、日本では3分の2はずっと残っている
質疑
- Q. 「強み」のグラフの中で共同研究の可能性の話は大変面白いが、あれは逆に考えると競合関係でもあるのではないか？
- Q. 研究者の移動について。各グループの生産性というのはどこで計算したもの？ 海外に行っている間に優れた研究ができた？ 人生にいい影響があった？
- Q. Mappingについて・・・Highly citedじゃない論文についても同じようにやって作った場合はどうなる？
-
- A（要約）
- 3つめについて。これを全論文でやったらどうなるかということだが、この分析のテーマは強みを導き出すこと。そのため部分的なものしか対象にしない。
- 2つめについて。グループに対する考察になっているので・・・ずっと日本にいる研究者は管理職ポジションだったりして必ずしも生産的じゃなかったり、海外に行っている側にはポスドクが多いだろう等、そもそも違うダイナミックの人々であることは認識している。ただ、海外でやった研究か／日本での研究か、というところはここでは見ていない。
- A（要約）
「InCites（TM）を用いた研究成果分析の手法：機関分析から個人評価まで」（広瀬容子さん、トムソン・ロイター 学術情報ソリューション シニアマネージャー）
- 私からは研究機関・大学で実際に論文データを用いて評価分析をする、現場の人のためのプラクティカルな話をしたい
- トムソン・ロイターについて
- ここにいる人は知っているだろうが・・・
- 従業員55,000人、専門家が意思決定のために情報を用いる際のサポートをする
- 学術情報・・・Web of Scienceを中心にJournal Citation Reportsや特許データ等を提供
研究評価を取り巻くステークホルダー？
- 広瀬さんの入社・・・2005年。今年で7年
- 当初は営業。会うのは9割、図書館員だった。図書館でWOSやJCRの案内をするのが仕事の大半
- ここ2〜3年・・・大学の様々な部署（総長室、研究支援〜室、研究協力〜）に行く割合の方が多くなってきた
- これまでは同じ共通言語が通じる環境。「書誌情報」や「論文」「引用」という言葉に解説がいらない
- 最近ではかなり変わっている・・・研究評価＝ボタンひとつでなんでもできるという勘違いや、論文／引用を一から説明する必要があったり
- 客観的・定量的に測ることができるものが研究成果か？
- 評価者は誰？ どんなニーズ？
- 政策立案・決定者：重点投資すべき分野、拠点把握
- 企業：共同連携先／成果測定
- 助成金提供：提供成果の補足
- 大学経営者：成果測定等
- 研究者：成果報告書作成や自身の就職活動
- コアジャーナルを研究評価に用いることのメリットと注意点
- この点について、共通言語がない人間と話す際には注意しないと、落とし所が見つけられなくなる
- メリット：見える化しやすい／計量的／アピールしやすい／専門分野の知識のない人でもできる／グローバルなものさしとして使える
- 注意点：「全て」ではない／人社系は一部を除いて評価不可能（日本の場合、特に日本向けに日本語で書く分野）／あくまでピア・レビューの補完材料／ひとつの指標に頼らない、多面的な観測の必要
- トムソン・ロイターが提供する材料・・・Web of Science：
- ジャーナル、国際会議録、専門書を収録
- 評価に使っているのはそのうち、Science Citation Index、Social Sciences Citation Index、Arts & Humanities Citation Index + 必要に応じて会議録
- 研究評価に用いるデータソースの条件：
- 正規化／整備が必要なのは言うまでもない
- 厳選された国際誌を対象とすること・・・"上澄み"の分析
- その中身がきちんと索引されていることも重要／著者名、所属、文献タイプ、分野・・・
- 引用情報：何回、どこから・・・＞研究の質を便宜的に測る指標
- 資金提供情報：助成金提供機関向けの分析にも使える
- 研究評価に用いる主な項目：
- 著者名、所属、文献タイプ（原著／レビュー等）
- 著者所属（機関や国等）、ResearcherID、Funding情報、謝辞、分野・・・
- 客観的・定量的に測ることのできる評価項目
- 評価対象・・・国・地域／機関／部署／個人
- 評価項目：
- 生産性・・・論文数等
- 質・・・被引用数
- 競争力（相対比較）・・・世界平均と比べて上or下／被引用期待値に対する実際の値の比較
InCitesとは？
- Web of Scienceのデータ項目をクリーニング・標準化
- 相対比較ができるようにしたベンチマーク指標も挿入
- WOSでもぱっと調べるときには使われるが、所属表記などにバリエーションがあって、そこを処理するには力技が要る
- そこを綺麗にしたのがInCites
- 3つのモジュール：
- 1. 著者・論文単位で分析するモジュール
- 2. 世界2,500機関との比較が可能
- 3. 世界トップ500機関に対してアンケート調査をやった、論文以外の指標（THEの世界大学ランキングの調査データとしても使っている）
- 今日話すのはうち1と2の2つ
- InCitesの特徴：
- 基本的には表とグラフの武骨なインタフェース。非ファンシー。至ってシンプル
- インタフェースはださいがわかりやすい。背後にあるデータの意味を突き止めやすい
- Excel等にデータを落とせる。そっちの方が得意ならInCitesを使わない分析も可能
- Outlierがあった場合、どうしてそうなったのかをすぐに特定できる
- 国・地域別の比較例：
- InCitesの画面操作例（デモ）
- (これはメモのとりようがないですよ！)
- InCitesで分析可能な分野の種類：
- WOSの分野わけ（250+）
- オーストラリアが作っているカテゴリ（23分野＋149小分類）
- ほか合計で9つ
- 分析例：ヒューストン大学の場合
- 分析例：部局の詳細分析例
- 例えば学際研究状況に関する指標を開発
- 期待値より上／下の比較
- InCites活用のためには・・・最適化が重要
- 汚いデータを入れても汚い結果しか出ない
- ResearcherID登録や著者別論文リストを整備してデータソースにするとより簡単に、最適化した分析ができる
- 論文データを綺麗にすることが、図書館等のプロが一番得意とするところ／実際に図書館員と協力した整備も
ResearcherID：
- 無料／研究者が自身の論文等を登録するサイト
- citing network等を無料で公開可能
- 世界トップレベル研究拠点6拠点中、4拠点はこれを活用している
さいごに：研究の未来予測は可能か？
- 「引用／論文は過去のデータ。そうではなく未来を予測して」とよく言われる
- 難しいが・・・トップ1%論文の共引用分析から先端領域を導き出すリサーチフロントの分析はずっとやっている
- 4年に1回、リサーチフロントアワードという賞を実施。今年は7フロント、16名を選出
- 急速に伸びている研究領域の種となる分野に貢献している人を表彰
- 図書館・情報分野は情報の正規化の重要性を知っている方々。ぜひ学内で活躍して欲しい／われわれも貢献したい
「ビブリオメトリックスを活用した研究評価の現状と展望」（孫媛さん、国立情報学研究所 情報社会相関研究系 准教授）
- Kolmanさん、広瀬さんからそれぞれScopusとWOSを使った具体例のお話があった
- 私は具体的な成果の話ではなく、そもそも論をしたい
- 数値・指標は性質を知らずに使うと非常に危険。それを再確認しつつ、指標そのもの、それを活用した研究評価の動きを考えたい
研究評価とは？ なんのためにする？
- 研究評価とは？
- 研究活動に関わる何らかの意思決定を行うために、評価対象の価値を判断する作業
- 対象：国、大学、個人、プロジェクト、政策、論文、雑誌・・・
- なんのために？
- 元々は雑誌の論文査読から始まっている
- 研究者コミュニティが公開すべき成果を選別することで質を高く維持するための制度に基づく
- 本来の目的・・・優れた研究の探索と学問的質の維持
- それが研究プロジェクトの資金配分等に用いられ出し、科学政策と連動することに
- 1980年代〜1990年代にそのトレンドが加速
- 今は「研究評価」といえば大学ランキング、研究費配分、個人評価が思い浮かぶように
- 元々は雑誌の論文査読から始まっている
- 研究評価手法の変化
- 1970年代までのスタンダード：同業者評価＝ピアレビュー
- 査読／学術書の受容／資金配分／プロジェクト選定／人事まで色々
- 1980年代以降・・・客観的指標への要望が高まってくる
- 背景：研究者数と研究活動全体が拡大／国の研究予算は経済不況により鈍化・減少
- すべての研究者・プロジェクトには資金援助できなくなる・・・選択の必要性
- プロジェクト間／分野を超えた選定が必要になり、専門間のピアレビューでは不可能に
- もうひとつの背景：研究活動の納税者への説明責任（アカウンタビリティ）
- パフォーマンス指標／専門外の人間にもわかりやすく示す必要性
- さらにもうひとつの理由：ピアレビューの問題の指摘：
- 評定者の主観性／意識的・無意識的なバイアス／膨大な時間とコストがかかる
- そこでビブリオメトリックス指標がよく使われるように
- 1970年代までのスタンダード：同業者評価＝ピアレビュー
ビブリオメトリックス
- ビブリオメトリックスとは？
- 1969年、Alan Pritchardが提唱
- 「図書などの情報伝達媒体に対する数学と統計的方法の適用」
- 文献データの分析手法だが、科学コミュニケーションの観測にも使われるためScientometricsとも同様に扱われる
- ビブリオメトリックスの歴史：
- おおむね50年の歴史
- 言葉は1969年に。しかし同様の研究はもっと古い。評価を意識したビブリオメトリックスの最古は1917年からあった
- 歴史的に大きな出来事はGarfieldが創設したScience Citation Indexにより、引用分析ができるようになったこと
- 1963年：Price "リトル・サイエンス、ビッグ・サイエンス"・・・ビブリオメトリックスによる研究評価手法の基礎
- Smallによる共引用分析
- 1970年代には科学政策にも適用されだす
- 可能性の認識が次第に定着され、研究評価への活用について研究するグループが多数登場
- 1980年代中頃、アメリカのOffice of Technology Assessmentが、ビブリオメトリックス指標をピアレビューと併用することの重要性を提唱・・・主観的手法による研究評価支配の終焉
- ビブリオメトリックス指標の研究評価への利用
- 研究評価データ源
- WOSとSCOPUS・・・似ているところ：どちらも有料でちょっと使いづらい
- Google Scholar・・・無料で利用が増えている
- NII・CJPや各国・機関のローカルデータベースも使える
- 指標
- 論文数・・・グレードの高い雑誌への掲載はある程度の「質」も保証
- 被引用数
- 基本指標（論文数と被引用数の組み合わせ方で多様な指標が出てきうる）
- スウェーデンの医学校がそれらの使い方のマニュアルを公開している（http://ki.se/ki/jsp/polopoly.jsp?=en&d=1610&a=17742）
- 研究評価データ源
主なビブリオメトリックス指標の紹介
- 論文数：
- 単純でわかりやすい
- 研究者１人あたり論文数、高被引用論文数・・・等色々ある
- 被引用数：
- 論文の質についてのほぼ唯一の客観的指標と考えられている
- 最近は代替指標の動きもある
- 研究者１人あたりや論文あたりを出すことも
- 一口で言うと簡単だが、実際には国によって研究者数の数え方が違ったりと、比較は難しいこともある
- 他の指標はほとんどが論文数と被引用数の組み合わせからなる
- h-index
- 最近出てきた指標の中では一番有名
- 日本ではそこまでではないが、海外では「私のh-indexは？」というのは一番多い質問。図書館にもしばしば寄せられる
- Hirschが2005年に提唱した、研究者の生涯業績の指標。「ある研究者の発表論文のうち、少なくともh回以上引用された論文がh変編あるとき、その研究者のh指数はh」
- 質・量の両立が求められる指標ということで高い注目を集めた
- ビブリオメトリックスの国際会議ではh-indexのセッションがどんどん大きくなってきている
- 実際に有名になったのはWOSとScopusに搭載されたから
- 最近では「利用が過剰すぎるだろ」という指摘も多い
- 各国でのビブリオメトリックス使用例：
- 各国で色々／多様性は増していく方向
- ビブリオメトリックスを用いることの意義：
- 最大の意義・・・客観的指標への要請に応える
- ピアレビューの問題を補完
- 領域をまたがった／機関間の比較
ビブリオメトリックス指標を用いる際の留意事項
- 論文数・被引用数には種々の要因が影響：
- データベースによる採録範囲の違い
- 引用の習慣や論文の寿命には分野による差がある
- 医学なら引用論文数は多いし引用もすぐに増えるがすぐに減って寿命は短い、数学ならそんなにすぐには増えないが長く使われ続ける
- 論文タイプ等：レビューは引用されやすい
- 共著論文はどう扱う？：集計方法の扱い
- 自己引用や否定的引用の扱い
- 各指標の特徴と固有の限界
- 評価対象に適合しているか？
- 分野の違い
- 引用統計の問題・・・
- 分布の歪み（分母によって使える指標は違う／歪んだ分布で平均値を使うのはおかしい、等）
- 引用年数の問題
- データベース依存性
- WOSやScopus、Google Scholar
- 最近はGoogle Scholar利用が増えているし、必ずWOS、ScopusとGSの比較研究は出てくる
- しかしGSは範囲／基準が不明確で質保証はない
- 各指標は各DB内で計算される・・・異なるDB間の比較ができない
- 分野・分類法の問題
- WOSとScopusでは分野・分類が違う
- 分類は論文ではなく掲載雑誌に対してなされているのでずれることがある
- データ統合時にも分野・分類の違いはネックに
- 概念・指標の再解釈問題
- 研究評価・ベンチマーキングのツールとして使う場合には従来の概念・指標に再解釈をなす必要があることも
- 例えば引用概念の再解釈ともたらされる効果：
- 従来・・・引用＝情報の利用。引用がない＝利用されていない、多い＝よく利用される、自己引用＝研究の一環（当然の行為）
- 現在・・・引用＝質の評価、引用なし＝室が低い、多い＝室が高い、自己引用＝評価をゆがめるのでいけないこと
- この再解釈が研究者の「引用」という行為を歪めてしまっている？
いくつかの課題
- 評価データの問題
- "データ"は最重要の問題の一つ
- データベースはいくつかあるが、共通の問題がある
- 収録範囲が違う
- 人文社会系が少ない
- 雑誌が多く会議録、図書は少ない
- 国を比較するときに、国ごとの収録雑誌数が違う（国の代表性の問題）
- WOSには日本の雑誌は200誌くらい、Scopusだと600〜700誌
- バイアスをなくし公平・・・は無理でも目的にあった評価をするには、ということを考える必要
- 国内でのローカル評価／グローバルな評価
- 大きな動きとして各国でファンディングと連動させたり産学連携や機関の現状を把握するためのローカル評価の重要性が増す
- そこで国内のローカルな雑誌が採録されていないことが大きな問題になる（自分の国の雑誌が入っていないから不十分）
- 人文社会、応用分野のデータが不十分。評価はできない。「しなければいけない」ときにはなんとかしないといけない
- グローバル評価・・・データの偏りが問題になる
-
- ローカルデータの整備は進んでいる：
- 統合的データベースの試み：
- 既存DBの拡張
- 最初からビブリオメトリックス指標を織り込んだ新DBの構築
- しかし・・・混ぜても基準の違いや文献種別の違いがあり、指標の統一は未解決
- 自国の引用索引データDB・・・日本（CJP)、中国、韓国、台湾、タイ、フィリピン、マレーシア・・・
- 各国で政府／民間のセンター構築が進んでいる
- 統合的データベースの試み：
- ローカルデータの整備は進んでいる：
- 指標の研究・開発
- 研究評価はどこへ向かう？
- どう評価、何を評価したいのか考える必要
- 既存のデータにとらわれず色々なデータを使ってみる
- 技術の進展への期待と、予測不可能な研究形態自体の変化にあわせた評価指標の変化の可能性
さいごに
- 研究評価は科学政策に資するのか？
- やって良かったエビデンスはあるのか？
- お金・時間のコストや習慣の歪曲を引き起こすのに見合うだけのメリットがあるのか？
- とはいえ、社会要請がある以上はしなければいけない・・・
- ビブリオメトリックス研究者としては最善を尽くして新しい指標等の開発に努力するだけだが、追いつかない現状がある
- 使う側は指標の限界・問題を意識して欲しい
- ビブリオメトリックス研究者としては最善を尽くして新しい指標等の開発に努力するだけだが、追いつかない現状がある
- モデルになるのは教育評価？
- 評価する側だけでなく評価される側にも意味のある評価、という方向性
- 教育評価は中国の科挙まで歴史を遡れる・・・
- 昔は試験官の主観評価⇒20世紀初め頃から多肢選択式の客観テスト⇒評価と学習指導の一体の必要へ
- 研究評価も同じ道を歩んできている？（ピアレビュー⇒指標への依拠⇒多様な方法・・・）
質疑応答（全体）
- （自分と次の質問者の方のご質問は自分が質問しちゃったのでメモとれていないよ！）
- Q. ビブリオメトリックス使用の危険性を広瀬さん・孫さんはとかれたが、ご自身はされている。そこの整合性はどうなっている？ Kolmanさんは、お２人の指摘した問題点にどうしてむとんちゃくにあっけらかんとなれる？
-
- 孫先生：「加熱しないように気をつける必要がある」ということは喚起する必要があると感じている。客観指標があるのとないのでは、もとはピアレビューだったのが指標になり、今はさらにピアレビューの材料に指標がなる、という論調。ピアレビューに戻る動きがあるが、それは指標を研究せず最初からピアレビューだったのと同じとは思わない。研究成果があって見えてきたことがある。否定しているわけではなく、検証できていないところを検証すべき、という考え。
-
- Kolmanさん：日本語がわからず面白そうな質問のユーモアが抜けて残念だが・・・ビブリオメトリックスはパワフルで客観的で素晴らしいと思っているが、限界があって全ての領域でうまくいくわけではないことは認識している。図書が入っていないので人文学では使えないし数学でもうまくいかない、単純な数字で見られないことがあることは認識した上で、最大限活用したい。
- Q. 今の質問に関連した具体的問題点。Scopus使うとJSTやRIKENが上位に出てくるが、これは日本の研究助成の仕組みがわかれば、JSTに助成貰った先生は所属にJSTと書くことが要求されるから。こういうコンテクストがわからないとできない。ISIではそれをやっている？ 研究者は「書け」と言われるので書いているがJSTは仮想的存在。そいういうことがチャートを作るとすっ飛んでしまう。そういう危険性がある中で、大雑把な話をどこまで信用できるか。根本的に。一方では、今日のプレゼンで一番驚いたのはトムソン・ロイターでRU11が採用されていたこと。「研究大学」というのはセンシティブな言葉で「日本にいくつ研究大学があるか」なんてことは明示しなかったがここでは明示されている・・・
-
- Q. 別の方：あれはRU11の自称では？
- Q. そういう自称が別途、この中に取り込まれているのが興味深い、という話。
- 司会：日本動物学会・永井裕子さん：最後に学会の立場から今日の感想を。ロシアはWOSにロシアの雑誌が入っていないので早くから、10年前からロシアン・ファクターを出している。一方で日本も状況が変化していて、東大の募集ではIFではなく自分の引用数を書け、となっている。しかしそこも孫先生のご指摘通り、「引用数ってなに」という問題がある。また、日本のアウトプットが落ちていることについては、日本はヨーロッパの小国のように量は減るが質はそこそこになるのか。興味深い。
- 永井さん：次回は「ジャーナルの発展を求めて」として、J-STAGE3にプラットフォームを移築することの意味はどういうことか。戦略的に行く場合もあるし様々な状況がある、それについて私がまずプレゼンする。さらに8月の会では「eLife」という新しいモデルについて発表がある。ぜひ来場を。
広瀬さん・孫先生のお話、そして質疑の最後でも何度も繰り返されるように問題もあり留意して使わねばならないもの、というのは承知しつつ。
それでもやっぱりBrain circulationの話とか強みを共有している＝共同研究できる可能性のある相手の探索の話とか、どういう切り口で紹介すると有効か・・・とか、心躍りますね。
現に若手研究者の一端である身としては、海外に行く⇒戻ってきた研究者の生産性が高いって話のあたり（日・英とも）はとりわけわくわくしました。あとでBIS reportちゃんと読まないと。
質疑でもいくつか指摘があったようにまだいろいろな要素が含まれていそうなのでこれだけを持って「とりあえず海外行ってしばしいて帰ってくれば俺も生産性が・・・！！」とはならないと思いますが、こういうところに踏み込んだ分析もできるようになっているというのは大変興味深かったです。
