内田樹先生の「人を見る目」の話を読んでて思ったこととか。
山形浩生さんの書かれた毎日新聞「論点」本文については読んでいないのだが、この入り方から内田先生の議論に持っていくのには違和感を感じると言うか。
「わかる人にはわかるが、わからない人にはわからない」「人を見る目」と言うものがあると言うのはまあその通りだと思うが。「客観的指標で判断すればＡさんを選ぶべきかもしれないが、人を見る目がある自分にはＢさんの将来性がわかるんだ！」という言い訳が使えることが、
日本でも、何かノーベル賞に比肩するような世界的な賞を作ってみてはどうだろうか？（・・・）
もちろん・・・おそらく無理だろう。日本ではそんな賞はすべて地位と経歴と学閥内の力関係で決まり、下馬評は事前にだだ漏れとなり、受賞目当てのロビイングが横行し、結果としてだれも見向きもしないつまらない賞になりはてるだろう。（「論点」、毎日新聞、１０月３１日, ただし筆者は本文未確認/リンク先：http://blog.tatsuru.com/2008/11/03_1337.php）
って言うような状況を招く一因にもなりうるわけで、それを防ぐための対抗策として客観的指標が出てきてるんじゃ・・・とか。
Evidenceが出せないものはないと思いこむ態度はそりゃあ良くないに決まっているが、Evidenceが出せないものはないと思いこむことが良くないという態度に付け込んでくるのが「私にはわかる」って口上で適当なことやってくる連中なわけで、日本でノーベル賞みたいな賞をつくってもうまくいかないだろうってのは前者じゃなくて後者が原因なのでは？？
「人を見る目」の有無の問題よりは、測り得ないものがあるかもしれないことにつけこんで本当は人を見る目なんかないくせに「人を見る目がある自分にはわかる」と嘘をつかれる可能性・・・研究業績の卓越性とかでなく政治力だの地位だのバックボーンだので人を選ぶ余地を残すことの方が「ノーベル賞に比肩するような世界的な賞」を作る上では問題なんじゃないか、とかなんとか。
ある程度以上、継続的に選考者と受賞者のその後の業績を見ていけば「人を見る目」があったかなかったかは判断できそうな気もするけど、多くの場合選考サイドに回る人はそう長くその立場に居続けないだろう一線を引いた人だろうし、そうなりゃあとで「不明を恥じる」こともないだろうしそもそもそういう立場にある人の不明を弾劾するのが難しいからじゃあいっか、的な（いや実際に必ずそうなると思うほど自分は現状に悲観的でも不信を抱いているわけでもないけど）。
もちろんそこら辺の主観的な評価方法の問題を補うための計量指標であって、計量指標が主観評価を覆すとなればそれはまた問題だけど・・・（いや、でも実際にそこを覆さんとする動きもあるが・・・）
もっとも、そもそもノーベル賞受賞者は（もちろん例外もあるのかも知れないが）基本的には専門分野内においてはすでに一定以上の業績を達成し終えた、ある意味じゃ「誰にでもわかるもの」によって判断されているわけで、まだ何かを成し得ていない人について「人を見る目」でもって判断するって話とはそもそも違う気もするけど。
だからこそ引用索引データベースを提供するThomson-Reuter社が毎年ノーベル賞候補者の予想を発表したりしている*1わけで、2003・2005・2008年には当該年で一人的中、2006年にはその年の予想は外れたけどその時予想した人が2007年や2008年に受賞したりもしている。
そういう意味では、そもそもノーベル賞的な賞については内田先生のいうような「人を見る目」が必要なものではなく、「誰かの成し終えたことを正しく評価する」別の目がいるような・・・
「人を見る目」って話ならむしろノーベル賞よりは現役第一線の中堅・若手研究者に与えられる研究助成とか、若手奨励賞と化の方がむしろ該当するような気がする。
そっちについては最近、PLoS ONEで面白い論文が紹介されていた*2。
タイトルの通りヨーロッパの分子生物学の研究助成プログラムについて、選ばれた研究者と落ちた研究者のその後の業績を見比べて選考課程（この場合は他の研究者による査読 = peer review）が上手く機能しているかを見たと言う研究。
「その後の業績」の基準がその著者の被引用数なので「引用からは見えないものがある！」と言う点では問題がないわけではないけども、まあそこについてはここでは換算しない感じで。
で、上記の研究の結果についてはなかなか面白くて、詳しく説明すると長くなるので気になった人には実際に論文を読んでみて欲しいのだけど、例えばh-index*3 基準で見ると、この指数が一番高い研究者は助成プログラムに落ちた人だった、という結果も出ていたりする。
h-indexってのは評価の高い業績（被引用数の多い論文）を何本書いたかで決まるものなので、継続的に高評価を得ている人の中にpeer reviewで若手助成から落っこちた人が含まれているというのは・・・まさに選考委員にとっては「不明を恥じる」事態、と言えるのかも。
もっとも、逆にh-indexの低い（業績の数も少ないし被引用もされない）人が助成を得てしまった、ってケースは少なくて、２つの助成プログラムについてみた結果、だいたいpeer reviewの結果は以下のような感じだったらしい。
| プログラム１（数） | プログラム１（割合） | プログラム２（数） | プログラム２（割合） | |
|---|---|---|---|---|
| 成功（その後活躍する人を正しく選べた） | 362件 | 54％ | 204件 | 69％ |
| 失敗１（大したことがない奴に助成しちゃった） | 48件 | 7％ | 10件 | 3％ |
| 失敗２（その後活躍する人を落とした） | 258件 | 39％ | 83件 | 28％ |
("Bornmann, Lutz; Wallon, Gerlind; Ledin, Anna. DOes the Committee Peer Review Select the Best Applicants for Funding? An Investigation of the Selection Process for Two Europian Molecular Biology Organization Programmes. PLos One. vol. 3, issue. 10, e 3480." より抜粋・翻訳)
どっちも「うまくいった」peer revieは全体の5〜7割程度で、特に「その後活躍する人」を落としてしまうケースが無視できないくらいにある。
特にプログラム１（LTFというプログラムだそうな。自分はそっちの分野じゃないのでわからないけど、有名なのかな？）では４割近い「失敗２」があるわけで・・・これはなかなか、研究助成のプロセスがうまくいっていると言えるのかどうなのか・・・
「人を見る目」ということでは、できない奴を「こいつはなんか出来る奴だ！」と見誤る、ということはあまりないのに対し、出来る奴を「こいつはそんなに大したことない」と低く見てしまうってことはごくごく頻繁に起こりうる、と言えるかも知れない。
もっともここら辺は多分に域値をどこに設定するかで変わってくる、ってことは上記論文中でも述べられている（選考基準を厳しくすればいいものを低く見誤ることは起こりがちになる。その結果、最も活躍する人間を落としてしまうというのは惜しい話だけど・・・）し、助成を受けた人間はその後多くの資金を持って研究するんだから結果的に業績上げやすくなるわけで、それでなお大した研究してないとされた「失敗１」の人ってなんなんだ、って話にもなるわけだが。
なお、同論文中では助成に「応募する前の」業績についても見ていて、そっちは助成を受けた人の方が被引用数が多い傾向がある、とかなんとか。
・・・そういう意味では、確かにそれまでに「なしたもの」からその後「なしうること」を推定するのは難しいってー話なのかも・・・いや、全体傾向で見れば受賞者の方がh-indexの中央値が高いのは事実らしいんだけどね、１〜２くらい（汗）
なんか前半と後半で全然違う話になってしまったけど。
確かにそれまでの業績に基づいてその先を見るってのは限界があるし、一方で「人を見る目」で測ると言うのもまた問題があるので、相互に補うように使ってかなきゃいかんよ、と言う・・・いつも自分が計量指標と主観的評価について言っているのと大して変わらない結果になってしまったけど・・・
っていうか何かを「評価する」ってえらい難しく、自分の分野内ですら見誤る例が多々あるのに、万人に通じうるような「人を見る目」なんてそれこそ誰しもが持ちうるようなもんじゃないし教育でなんとかるんかいな、とかなんとか。
*1:2008年の予想はこちら：http://www.thomsonscientific.jp/news/press/nobel2008/index.shtml
*2:オープンアクセスなので誰でも読める
*3:説明はこことかで：h指数 - Wikipedia
