Times Higher Educationとトムソン・ロイターが新しい世界大学ランキングの手法と進捗状況を説明（世界大学ランキングと研究評価の新時代：ワールドクラスの大学をめざすために 第１部「新しい試み、模索される大学評価」参加記録）
今週は東京でイベントラッシュ。
ということで、まずはトムソン・ロイター主催の世界大学ランキングシンポジウムに参加して来ました！
国際的大競争時代のなか、大学がワールドクラスの研究拠点や国際化を目指すにあたり、世界大学ランキングや研究評価に対する関心が高まっています。2009年11月、世界大学ランキングで著名なタイムズ・ハイヤー・エデュケーションは、論文引用情報のゴールド・スタンダードであるトムソン・ロイターとのパートナーシップを発表し、新しい大学・研究評価の方向性を模索することになりました。本シンポジウムでは、タイムズ・ハイヤー・エデュケーションからスピーカーを招き、トムソン・ロイターをパートナーとした新しい世界大学ランキングについて発表いたします。またトムソン・ロイターの新しい大学評価の試み、論文引用情報を用いた研究評価方法についてもご紹介いたします。
トムソン・ロイターと言えば先日Journal Citation Reports（JCR）2009も発表され、2009年版のインパクトファクターの数字に各学会・出版社が一喜一憂しているところでもあるかと思いますが*1。
Time Higher Education（THE）が出している世界大学ランキングについて、2010年版からはトムソン・ロイターがデータ収集・分析に協力することになった、という報道も記憶に新しい人もいらっしゃるのではないかと思います。
THEの世界ランキングは上海交通大学等と並んで日本ではよく知られたものですので、この件関心の高い方も結構多いのではないでしょうか。
今回のシンポジウムではTHEが従来のランキング手法を捨てトムソン・ロイターとパートナーシップを結ぶ決断をした経緯について、世界大学ランキングの責任者であるPhil Batyさんからかなり思い切った打ち明け話が！
新手法の詳細、さらに第２部では研究評価手法の新たな動向についての話題もあり、大学・研究機関の評価に興味がある方には大変興味深いイベントだったのではないかとー。
ってことで以下、いつものようにイベントメモです。
なお今回のシンポジウムは午前と午後で第１部・２部が分かれていたのですが、まとめると非常にながくなるのでそれぞれ別エントリを立てたいと思います。
例によってmin2-flyが聞きとれた／理解できた／書きとれた範囲のメモであり、誤りなどが含まれる場合もあるかと思いますのでその点ご利用の際にはその点ご了解いただければ幸いです。
参加者の方で間違い等を発見された方は、コメント欄などを通じお知らせいただけると助かります。
では、まずは棚橋さんによる開会のご挨拶から。
開会挨拶（棚橋佳子さん、トムソン・ロイター学術情報ソリューション シニア・ディレクター）
- 世界的に大学ランキング・研究評価が関心を集めている
- トムソン・ロイターもTHEとのパートナーシップ下で、新たなプロジェクト「Global Institutional Profiles Projects」を行っている
- 今日は第１部でTHEのPhil Baty氏を招いてご発表いただく
- 宮入氏からは「Global Institutional Profiles Projects」について説明
- 第２部では、ISI社の頃からやっている引用分析について、新たな工夫を加え、大学・研究評価の実際に即した、海外での試みや研究評価の方法について紹介する
- トムソン・ロイターについての紹介
- 2008年4月に米国・トムソンと英国・ロイターが合併して誕生。ニューヨークに本社
- 金融情報、法律情報、経営・税務情報、そして学術・科学技術・ヘルスケア情報を提供
- 世界90カ国の大学・研究機関・企業に顧客。最近では中国・インド・韓国はじめアジア各国に拠点
- 日本では以前は海外の情報を英語で提供するだけであったが、現在は日本のオフィスも一つのユニットとして確立、日本の顧客にあったサービスの拡大
- Web of Science（WoS）、JCR等のインタフェースの日本語化。新サービスの展開
- 今日のテーマである大学・研究評価周辺には課題も多い
- 世界クラスの研究拠点を目指し、そうであり続けるため、あるいは国際化を目指すうえで、今回のシンポジウムが成長戦略に役立つことを願う
The WORLD UNIVERSITY RANKINGS: History, methodology and influence（Phil Batyさん、Times Higher Education World University Rankings, Deputy Editor）
- 紹介
- まず告白から・・・
- 世界大学ランキングを６年間発行してきたが、今や目的にかなっていない。
- 2010年以降はそこで新たなランキングを始めた
- 今日、ランキングは非常に大事。どのようにしてトムソン・ロイターとのパートナーシップでランキングを向上するか？
- 厳密、透明性、バランスのとれたランキングをどう提供するか？
- Times Higher Education（THE）の紹介
- 大学は複雑、単純に測定できないことは認識しているが、それをなぜランキングで表すのか？
- 過去のランキング
- データはQS社から取得
- スコアの40%はpeer review
- peer reviewという表現は現在禁止している。厳密な意味でのpeer reviewではなく、reputation survey(質問紙による評判の調査)だったため
- 10%は卒業生、20%は学生・教員数のバランス、20%は被引用数、5%は留学生の有無、5%がスタッフの割合
- もっと全体的に見ると言うことで努力はしてきたが、これは良くない。QSとの提携を破棄した
- 2009年のランキングからのメッセージ
- なぜQSのデータに基づくランキングをやめる？
- 多くの批判：
- これまでのランキングはもう弁護できない・・・変更が必要
- editorial boardを招集。古いQSベースのランキングの問題が指摘される
- peer review：これは単なる、主観的なsurvey。ステレオタイプで現在の状況ではない。ミシガン大の研究によれば、前年度の結果が前提にあるので結果の改善は期待できない
- 一方でreputationは非常に重要、global市場では参考になるが、適切なreputationでなければ使えない。QSの結果は大きな問題
- QSのsurveyは回答率が非常に悪い。国によっても回答数が少ない。100万以上の研究者がいる中国では百数十名しか回答者がいない
- 質問の仕方がクリアではない。何を計測したいのかわからない質問構成
- この結果がスコアの40%を占めているのは良くない
- 被引用数：学問分野による被引用数の傾向の差を考慮していなかった
- 物理学・医学に強い大学はQSのスコアで高い結果を得、社会科学では低い結果に。London School of Economicsの被引用数ランクが悪くなる等
- 教員と学生数の比率：「レストランの従業員数が料理の質に関係するか？」
- 教員１人あたりの学生数が少ない方がいいにはしても、荒っぽすぎる。
- トロント大学の調査・・・同じ大学でも6:1⇒39:1という風にデータの操作によって数字が大きく変化する。
- 海外からの学生数等の見方も荒削り。
- 2004年に89位だったマレーシア大学が翌年169位に落ちスキャンダルになる等、データの扱いも不適当
- peer review：これは単なる、主観的なsurvey。ステレオタイプで現在の状況ではない。ミシガン大の研究によれば、前年度の結果が前提にあるので結果の改善は期待できない
- editorial boardを招集。古いQSベースのランキングの問題が指摘される
- このような状況に関わらず、世界大学ランキングは大きな影響力を持つように
- ランキングの見直し
- QSの方針をやめて抜本的に改革
- 編集長のコメント：「重い責任を感じている。ランキングはこれからも続くが、厳格、透明性が高く、好奇心をひくだけではなく真剣に利用できるものにする必要がある」
- トムソン・ロイターとパートナーシップ
- 数か月協力し、新手法・新データベースを構築する
- トムソン・ロイターのディレクター（イギリスのREFのアドバイザーでもある）曰く：「質の高いデータの提供だけでなく、ビブリオメトリクスの専門知識や分析能力も活かす」
- トムソン・ロイターは学術機関プロファイルプロジェクトを実施。このプロジェクト、データベースに基づいて新たなTHEのランキングを行う
- 2010年度のランキングは大幅に改善されるだろう
- reputation surveyも重要ではある、そこで第三者調査機関に依頼
- 研究評価はWoSに基づく。また、データだけでなく専門知識も得られる。QSには統計的な能力が欠けていたが、トムソン・ロイターは学問分野のばらつきも正規化する等適切化できる
- 学問分野のtableは6つに分け、これに基づいてデータを収集している。詳細に調査しており、ライフサイエンスの中で農業を専門とする等、狭い分野の知識のある人々の結果を用いている
- 2010年のランキングは・・・
- reputation survey、bibliometrics、大学のデータ、の3つから分析
- 大学のデータ・・・教員数、学部生の数、学士号の数、博士課程入学者・修了者数、所得、受託研究等
- これらのデータをどう集計する？
- 草案・・・13の指標を、4つの大きな分野（研究、経済・イノベーション、機関に関する指標、機関の多様性）に分けて設定
- 研究についての評価指標が最も重みづけられるのではないかと思うが、重みづけの詳細は未定
- reputation surveyは大きく改善したが、重みづけは以前より下げる。QSの重みづけは大きすぎた。
- 草案・・・13の指標を、4つの大きな分野（研究、経済・イノベーション、機関に関する指標、機関の多様性）に分けて設定
- reputation survey、bibliometrics、大学のデータ、の3つから分析
- THEのマガジンでもランキング手法の変更は公表
質疑応答
- Q：何を評価するかで、physical science、life scienceとあったが、physの比率が多すぎないか？ また、chemistryやmathematicsは？ 分野はどう定めた？
- 分野はトムソン・ロイターの分類に基づく。物理系科学の内訳は後ほどお送りもできる。分野は大学に応じて正規化する予定
- Q：かなり指標が変更されるようだが、今回発表されるランキングは今までのものと大きく変わると予想されている？
- 2010年の結果はかなり違ったものになると考えている。特にこれまでのランキングはイギリス、オースラリアが非常に有利になっていた。規模の正規化もするので、より小さな機関が以前よりもよく代表されるようになるだろう。2010年のランキングは新手法の初年度のものなので、丁寧に説明する必要はあるだろうし、前年と比較はできない。UCLは2009年には4位だったがもう4位にはならないだろうが、UCLはそれでいいと言っている。2009-2010の直接比較はできない。
- Q：キーワードとして信頼、がある。言葉では2004年のモデルを打ち破ると言うが、過去も信頼しろと言ってきた。なぜ今、信用しないといけない？ ２番目に、新手法のためにどれだけの金額を確保している？
- QSの指標を使い続けることはできた。既に影響力もあったが、QSと手を切る決断をしてより信頼を得ようとした。新たなランキングは専門家の信用に足るものではないといけない。これまで学術界に批判されてきたが、古いシステムの問題と新システムの改善、その過程での関係者の意見の反映も通じ、もっと信頼できるものになるだろう。金銭面については、ランキングでそれほど利益は得ていない。THEのビジネスは教育・採用・雇用についてのもの。ランキングはwebサイトへの広告等には有用であったが、利益を得るのに利用することは目的ではない。2010年には広告を増やしたいとは思うが。
- Q：3つ指摘する。研究評価はトムソン・ロイターを信頼しているようだが、人文社会系についてどう研究評価するのか？ トムソン・ロイターは論文誌等はできるが、人文系は書籍を見るわけで、ないものは評価できないはず。トムソン・ロイターのESIでも人文社会系はSocial SciencesとEconomicsだけで人文系はないはず。そこはどうクリアする？ また、Global Profile Projects、こちらでもデータ記入はしたが、上述の6分野に分けてデータを記入するよう求められた。この分野の分け方がわかりにくい。大学の研究者１人ずつを見ないと分けられない、あるいは見ても分けられない。複数分野にまたがるようなものもある。世界どこもそうであるはず。そのようなデータ、曖昧性が多いものをもとに分析するのは問題ではないか。3つめは、このプロジェクトでincomeが非常に重視されている。大学全体の収入や産学連携収入等の項目がやたらと多い。それ自体大学によって違う、収入が多ければいいわけではないし、国の制度によっても収入は大きく変わる。これをどう評価するつもりか？ THEの掲示板でもマンモス大学の評価が高くなるとの指摘に答えられていなかった。改善したい気持ちはわかるが問題を感じる。
- もっとも重要なのは完璧なランキングはない、ということ。かつランキングはグローバルに集められ、検証可能なデータに基づかなければいけない。Arts & humanitiesは確かに問題。被引用数と研究の質に相関があるとわかっている分野はいいが、arts & humanitiesはそうではない。研究成果が雑誌論文以外であるものが多いので。データがあるところは使うが、使えるものが少ない場合は重みづけを下げ、他の測定方法によってバランスを取る。A&Hはreputationの重みが大きくなるだろう。
- inputについてはあまり負担を大きくはしたくない。トムソン・ロイターはフルタイムとしてデータエディタとして仕事している人がおり、サポートできる人員がある。また、フルレンジのデータで望ましいと考えられる範囲があり、より高度な、洗練されたものにしていけば正しいパフォーマンスが反映できると思うが、大学の負担も考えねば。国の研究機関との連携も考えている。
- 収入についてはこれまでにも問題として指摘されている。最終的な在り方はこれから決定するが、収入についての評価項目の数はまだ決まっていない。ただ、世界を見ると資金力は重要な項目。世界的な機関の競争力を考える上で重要。国の状況によっては、途上国にとって公平ではないことはあるが、評価項目としては含めるべきもの。世界第一級の研究をするには財政面のサポートがいる、これが現実である。
- Q：ジャーナリスト、教育家として先のコメントに関心がある。特にジャーナリストとしての情報源、出版物や被引用数、論文発表をランキングに反映して欲しい。また、雇用主についての評価は？
- Q：LCを卒業したので個人的にこの議論は面白いと思ったが、収入について、お金の価値の違いは全ての数字で調整？ それとも為替レートを単純に反映？
- 正確な方法はまだ不明、トムソン・ロイターのプロジェクトを通じて情報を集めている。ドルに換算しているはずだが・・・どの期間の為替レートかはわからない。
学術機関プロファイルプロジェクト：Global Institutional Profiles Projects（宮入暢子さん、トムソン・ロイター 学術情報ソリューション リサーチ・ソリューション・コンサルタント アジアパシフィック）
- 紹介
- 日本を含めたアジア地域で、引用分析についてのコンサルテーションを担当
- Baty氏が発表の後半で触れていたもの。このプロジェクトで得たデータ・分析に基づきTHEのランキングを作成
- Global Institutional Profiles Projects（Profiles Projects）について説明
- 大学ランキング一般について：なぜこれほどランキングが注目される？
- 日本では朝日新聞社の『大学ランキング』もあり、もともと関心も高い
- 大学の競争が激しくなってきた／資金・人材の獲得において、大学のブランドイメージの確立が非常に大切になってきた
- 「ランキングは役に立つか？」という質問には85%がなんらかの形で役立つとの回答
- 注目されると同時になんらかの形で役に立つとの認識
- ランキングは多様
- ランキングへの批判：opinion survey（詳細は後述）より
- 欠点・問題点は？
- 使用するデータ・方法論が一番大きい
- 不適切な手法で集められる
- 重みづけの問題
- データの一貫性、範囲、時制
- 大学のシステムの複雑さの指摘
- 指標で測ること自体が難しいのでは？、との指摘
- データの質
- 情報の不足、そもそも測るべきではないとの意見、信頼性が低いデータ
- 使用するデータ・方法論が一番大きい
- あげるときりがないが、懸念事項はよくわかる
- データの客観性については新プロジェクトにも取り込む
- 欠点・問題点は？
- THEがトムソン・ロイターと組むと言うのは東京スタッフにとっても寝耳に水
- ジョナサン・アダムス氏（研究評価部門のディレクター／プロジェクト全体の責任者）のコメント
- それぞれの大学がやっていることを部分的にでもreasonableに把握するにはこれまで以上に多くのデータが要る
- 完璧にはならないにしてももっとたくさんのデータを集めなければいけない
- 包括的な全体像を写し取るにはどういうデータが必要なのか？
- 複数ステップからなるプロジェクト・・・現在はstage 3が進行中。今後、各ステップを紹介
- それぞれの大学がやっていることを部分的にでもreasonableに把握するにはこれまで以上に多くのデータが要る
- stage1：opinion survey
- 望ましい・役に立つ・問題を克服できるランキングについて、まずは意見を伺おう
- 2009.11-12にweb上でsurveyを実施。30カ国、350の回答。ランキングについて世界規模で意見が得られた
- 85%がランキングは有用と回答
- 過去のデータ・方法論の好ましくなさ、データ品質への懸念
- 74%の回答者が各機関がデータ操作していると考えている
- これは宮入氏も実感。ランキングの上げ方について聞かれることが多いが、答えられない。操作可能なランキング自体無意味だし、きちんとした方法論に基づけば簡単には操作できないはず
- ランキングにしても被引用数にしてもそれ自体目的ではない。なんらかの活動の結果。操作したければ活動の質を上げる必要がある。
- 日本からの意見：「純血率の高い国の大学にdiversityの指標を持ってくれば不利になる」
- stage2: reputation survey
- 研究者を対象に、研究について／教育について、代表的と考える大学を挙げてもらう
- 調査専門機関のサポートを受ける
- 完全招待制。メールを受け取った人間しか回答できない
- samplingはユネスコのデータに基づいて地域・分野を統制
- 過去のsurveyはadministratorに聞いていたが、今回は研究者・教育者を対象とすることを明確に打ち出す
- WoSに載っていて、電子メールアドレスが拾える著者を選出する
- THEは世界レベルの大学を・・・とのことなので、少なくともscienceについては代表性が高いはず
- 社会科学・人文学はWoSだけでなく他のDBやプラットフォームグループの力も借りて誰にお願いするのがいいか補完
- より多くの回答を得ることも目的に
- 調査結果は先週、プレスリリースも公表
- アジアでは30%以上の回答。分野的な割合も良く、研究者の割合が高い
- opinion surveyの知見を反映した形で作る。早くsurveyを送りたい／ちゃんと確かめよう、のせめぎ合いだった。全体で13,000以上の回答。QSは2009年に3,500
- 研究者を対象に、研究について／教育について、代表的と考える大学を挙げてもらう
- stage3: 学術機関からの収集
- 日本ではあまりないが、海外では大学内での周知・徹底されていないことも多かったという
- 大学のauthorityにお願いの連絡をしたうえで、ふさわしい窓口を尋ねる
- webベースで入力して貰う形式
- かなりの重労働。他にもランキングがあるので負担が大きいことは承知しており、web入力を実施
- 初年度は辛いが、翌年度以降は前年のデータに基づいて回答できるようにしている
- 日本ではあまりないが、海外では大学内での周知・徹底されていないことも多かったという
- stage3（裏）: ビブリオメトリクスによるデータ収集
- 機関名のゆれは相当細かく名寄せしている
- stage4: データの検証
- stage5: データをTHEへ納入
- THEはランキングを作成
- トムソン・ロイターが集めたデータはどうする？
- 既存のデータサービスの強化に使う
- THEだけでなく、パートナーシップを組んで研究プロファイルについて調べている会社、公開調査に協力できないか模索中
- データをどこでどう使っていいのか・悪いのか・・・ある程度回答者等と緊密な連絡を取る必要がある
- プラットフォーム・グループについて
- プロジェクト当初から発足。40人を超える参加者
- 方法論の妥当性等について議論、それを反映するグループ
- 学術機関の長、研究戦略担当者、高等教育研究者、THEの旧ランキングのコンサルタント
- 日本からは参加者なし。inviteしていないわけではなく、打診したが辞退されたり反応がなかったり
- アクティブに行動することが求められるグループで、日常負担は大きいが・・・
- ぜひ日本からもご参加いただきたい。興味があればご連絡を
- 将来的な方向性
- 現時点で出ている話：
- 新しいデータの検討、特に社会的なインパクト
- 遡及データを用いた動向把握とソリューション
- データ収集対象の拡大：政府系研究機関や非営利機関等を含むか？
- global rankingの限界：地域的な情報をどう処理するか？
- どういうデータが必要か議論を重ねて開発する
- 現時点で出ている話：
- Profiles Projects
- 複雑・多様ななデータをできる限り反映する
- 多くの意見、インプットを得ている。できるだけ活かしたい
- 100%のランキングはできないが、少しでも役に立つものをTHEが出せるように
- 学術機関の特性を妥当・適切な手法で抽出する
- 一面的には語り尽くせないデータをどれだけ国際的に比較可能に見せるか
質疑応答
- まず事前質問について１：ランキングに必要な情報収集方法
- 大学ランキングについてのカンファレンスが上海、台湾、香港等であるが、日本人参加者が少ない。毎日忙しいだろうとは思うが、情報を収集したいのであれば一番の方法はカンファレンスに代表を派遣することに尽きる。国際カンファレンスに参加してたくさんのことを学んできた経験から、お勧めしたい
- 事前質問２：各大学へのデータ提供をどう依頼するのか？ どこも業務方なのに？
- お願いしたところには行っているが、全ての期間に最初からお願いするのは不可能。たぶん質問者の機関にはお願いしなかったのだろう。１つ強調したいのは、忙しいところに負担を増やして心苦しいが、85%の人間が大学ランキングはなんらか役に立つと考えている。できるだけ負担は減らす形で来年度以降も検討を重ねたい。
- Q：Profiles Projectsは現在のところ大学だけが対象？
- 現在はそう。
- stageを見ていると、教育に関する調査はstage2でsurveyされただけ？
- そう。後は何を教育の質の指標にするかの判断が定まっていない。いくつかの項目を対象とするかどうかの最終判断はTHE。
- 大学は料理されるばかりだが、私もrankingはなんらかの役に立つと考えている１人。例えば大学院への留学生を見たときに、どの大学から来ているかを見るには役に立つ。教育の充実化を。
- 教育は測り方が難しく、どのカンファレンスでも教育の質は測れないと言うのが定説だが、アウトカムを見るには学生の入り口と出口を見る必要があり、手法は確立しつつある・トムソン・ロイターでは調査できないが今後の開発を期待したい。
- Q：2点ある。まずrankingでは研究、それも自然科学に強い方が有利に見える。もう１つは、ポイントはずれるが、手順や考え方が大学の認証評価のプロセスに似ている。日本ではなくアメリカの。個人的なお考えでいいが、認証評価との違いと同じ点をお聞きしたい。
- 自然科学が有利に見える気はするが、そうならないように努力を重ねている。例えばreputation surveyでは自分の分野しか答えられない。研究について、世界的／自分の地域での自分の分野の優れた大学を尋ねており、研究者・教育者の実感が分野ごとに得られる。被引用数についてはA&Hでは評価しないのがトムソン・ロイターの方針だが・・・。ばっさりやるのは簡単だが、分野の違いをまとめ上げていくと先の分野わけに。一方である部署をどう分けるかの問題もあり、その中で自然科学を有利にしないことは検証している。ランキングが出たときに忌憚のない意見をいただければ。
- 手順については、私は個人的には・・・認証評価グループが滞在して質問する部分がないことを除けば似ているという印象はある。ただ、質問からはそれるかもしれないが、ランキングはもともと草の根から始まった努力。誰かがあったら便利、と思ってやってみたのがランキング。草の根精神で始まっているはずなのに、日本に限らずいくつかの地域ではランキング自体が権威を持って、トップダウンで何かしようとしてしまう。認証機関がこのランキングをもとに何か始めたら大変なことになる。ランキングは補完的なツールの一つ、これだけ使うのは危険極まりない。北米の認証プロセスは包括的なものを目指しているように感じる。私が留学するときにTOEFLの点数が足りないと言ったら全体を見るから送りなさい、と言われた。評価プロセスはそのような精神に基づくべき。
- Phil Batyさんからコメント：THEはrating機関でも認証機関でもない。格付けには一切かかわらない。それはacademicなpeer reviewに任せるべき。QSはratingに進みつつあったので、不適切と考え関係を切った。
- 筑波大学・佐藤：reputation surveyの結果って分野ごとに見られないのか？ 留学や研究協力の参考にしたい
- まだ未定だが、リッチなデータがあるのでランキングに使うだけではない活用を考えたい。
- Q：６つの分野に分けて研究評価を扱われるとのことだが、６分野をどのように足し合わせて見る？ 足し合わせる段階で問題が起こると思うが？
- ６分野がどう入るのかはTHEが決める。トムソン・ロイターは元データの提供をする。いただいたデータに基づいて、大きく出る／小さく出る分野もあると思うが、そのまま渡す。アウトプットは？
- Batyさん：分野ごとのテーブルを発表するので、6つの分野ごとに分けて発表する。十分に学術機関からの情報が得られて、正規化することを願っている。豊富なデータがあれば比例させることができ、正規化もできると考えているが、今は生データを見ているところ。
- Q：部分的に追加されると言っても、6分野を追加するだけでは不十分だろう。LSEは決して高く出ない、それはどう対応する？
- Batyさん：古いシステムからは大きく改善される。被引用数データは以前はただ集めていた、それに比べればはるかに有利。よりフォーカスされた、専門家グループがそれを精査し、複雑な課題に対応したい。これからも続けて作業したいが、挑戦することにオープンではある。
- Q：社会科学系の分野で、自国の言語で書かなければ意味のないような法律や文学はどう評価する？ また、毎年改善するというがそれは今年と来年の結果が比較できなくなり、役に立たない。どうするのか？
- 法律、文学などをどう処理しているかは存じていないので後ほどフォローアップする。Reputation surveyは各分野のデータがあり、citationは正規化をする。
- その際、法律については国内では大きい分野だがトムソン・ロイターにもScopusにも出てこない。出てこないので正規化も出来ない。一方で日本や各国にはそれぞれ法律等のデータベースはある。それを使わず各社の手持ちデータでやられることが、世界大学ランキングへの大きな不満。
- 今年はWoSを使うが、来年以降各国のデータを使うかははっきり言えない。
- 特定の分野だけならわかるが、ごちゃまぜにしたものは非科学的。
- 法律、文学についてcitation dataを全く使わないことが正しい、という意見が多ければそうなっていく。疫学や保健衛生等、各国の制度が反映する部分はWoSを使うのは困難。一方で各国のデータがそろっても比較するのは困難。ではそれらの分野は外すのか。今年はやってみるが、このような議論は全ての分野で生じる。それをどう正規化すべきかを検証するのが我々の役割。
- 今後、毎年改善する際に比較可能性がどうなるかだが、そこを検証していたので今年のデザインは決まらなかった。少なくとも来年以降も踏襲可能なデータを抑えたので、今後拡張するのか、データを変えるのかは未定。おっしゃる通りちょこまか変えると比較可能性がなくなるので、拡張することになると思う。
途中自分も質問していますが、実はreputation surveyの回答者の１人だったりします（汗）
調査は日本のオフィスが代理に入ることなく行われたとのことなので、ツテによるものでもなく・・・偶然なのかResearcherIDに登録していたからなのかは現在確認中だったり。
冒頭でも書きましたが、Baty氏が思った以上に過去のランキングの問題点、特にQS社の手法の問題点を指摘しているのにびっくりしました。
かつ、今回の手法についても非常に詳しく説明があり・・・これまでのランキングへの批判の克服に相当、真剣に取り組まれている様子がよく伝わってきますね。
一方で会場からは厳しい質問も飛ぶわけですが・・・まあ、再三述べられているように完璧なランキングと言うものはそもそも成しえないこと、他方でなんらかの参考になるものとしてランキングがあったらいいなという声も多い、ということを考えれば、できる限り手法を公開し、漸進的に今後良くしていく、というスタイルはいいのでは、という気もします。
なんにせよ、2010年版のランキングが公表されてから新手法で何が変わり、何が変わらないのかもはっきりするでしょう。
そのあたり注意深く見ていきたいところです。
ちなみに前回ランキングで我らが筑波大学は上位200位に入っていたのですが、新手法だとどうなるのでしょうね？？
ビブリオメトリックスに重みつくと不利ではって気もしつつ（まさしく反映されにくい分野をうちに抱えているので）、国内の大学のポジショニング的には旧帝大、東工大の次くらいのいつもの位置に入ってきそうでもあり。
しかしそのマンネリ感を打破し、それでいて納得できるようなランキングが提出されるとすればそれはそれで面白い・・・！
そんな感じで大変議論が盛り上がった第１部でした。
午後の第２部では研究評価手法の実際、特に被引用分析についてトムソン・ロイターのデータを用いながらの紹介です。
以下、次エントリ！
*1:JCR2009についてはいずれ別エントリで。PLoS ONEの件など色々興味深いところです
*2:Academic & University News | Times Higher Education (THE)
