かたつむりは電子図書館の夢をみるか(はてなブログ版)

かつてはてなダイアリーで更新していた「かたつむりは電子図書館の夢をみるか」ブログの、はてなブログ以降版だよ

デジタルレファレンス>>>Q&Aサイト≒対面のレファレンス? 「Q&Aサイトと公共図書館レファレンスサービスの正答率比較」(知的コミュニティ基盤研究センター第79回研究談話会)


お久しぶりです、8月は一度も更新しなかったmin2-flyです。
別に何かあったというわけではなく、月初めに出張した以外はほとんど何もなかった(月末の合宿以外、つくばから出すらしなかった)結果として、書くことがなかったっていうね(汗)
恐るべし夏休み。
今年は節電の影響もありましたしね。


とはいえ時はもう9月!
再びイベントなどが盛り上がってくるシーズンになりました、ってことで久々の更新は知的コミュニティ基盤研究センターの研究談話会、「Q&Aサイトと公共図書館レファレンスサービスの正答率比較」です!

  • テーマ:「 Q&Aサイトと公共図書館レファレンスサービスの正答率比較 」
  • 講演者:辻慶太先生 (筑波大学大学院図書館情報メディア研究科 准教授)
  • 日時:平成23年9月7日 (水) 16時〜17時
  • 場所:筑波大学 筑波キャンパス 春日エリア 情報メディアユニオン3階 共同研究会議室1
  • 概要:

 近年,Webの発達で図書館のレファレンスサービスを取り巻く環境は大きく変化している。その中の1つにQ&Aサイトの急速な成長がある。 Q&Aサイトは質問に対する回答が得られるという点で公共図書館のレファレンスサービスに近く,ある種競合する性質を持つ。では公共図書館のレファレンスサービスとQ&Aサイトではどちらの方が正答率が高いのか? 本発表ではこの点について調査した結果を述べる。具体的には関東の都道府県立図書館6館と首都圏近郊の市区立図書館25館及びYahoo!知恵袋と教えて!gooに対して60個の同じ質問を行い得られた正答率について述べる。


辻先生と研究室の方々で行われている、一連の図書館とQ&Aサイトの正答率比較研究はご存知の方も多いのではないかと思います。
今回はその成果について発表されるとともにディスカッションも盛り上がり・・・やあ、そりゃあ盛り上がりますよっていう。
久々の更新にこの回をあてられたのは僥倖、と思う大変面白いご発表でした。


以下、いつものように・・・と言っても実は久々なのですが・・・当日の記録です。
例によって例のごとくmin2-flyが聞き取れた/書き取った/理解できた範囲のメモであり、ご利用の際はその点ご理解いただければ幸いです。
正確な数値等については、上にリンクしました最新の論文や、本文中でリンクする以前の調査の論文等をあたってご確認いただきますようお願いします。
どちらも機関リポジトリで無料版も公開されているので、どなたでもお読みいただけます(それもまた素晴らしい)



はじめに
  • 内容は去年、ギリシアの学会で発表してきたもの。2011.5に雑誌論文としても載っている。また、『図書館界』にも掲載されていて、そちらの方が詳細。
  • Webの発達・・・レファレンス・サービスを取り巻く環境が変化
    • その1つがQ&Aサイトの登場
      • Yahoo! 知恵袋、教えて!goo等
      • アメリカではYahoo! Answers等が代表的?
      • Yahoo! 知恵袋:7,060万件のQ&Aと900万人の登録ユーザ。教えて! gooより後発だが抜いている
      • アメリカでもQ&Aサイト利用者は増加。2006.2⇒2008.2で889%増
    • 2004年時点の先行研究ではAsk! Jeeves等が2000年代半ばで消えたことを受けて図書館員にとって「もはや脅威ではない」と言っているが、そんな楽観はもう通じない?
  • もうレファレンス・サービスは時代遅れ? Q&Aサイトと正答率は本当に同じ?・・・今日の問題関心
    • 2年前に党さんとやった研究の成果
    • 前回調査・・・対面式のレファレンス調査とQ&Aサイトと比較する
      • メールによるデジタルレファレンス/県立図書館を調査すれば、Q&Aサイトを上回りうるのではないか?
    • メールによるデジタルレファレンスの方が正答率が高ければ、Q&Aサイトよりそっちを使うかも?
    • 以上の背景から、60個の質問を:
      • 県立・市区立図書館のデジタルレファレンス
      • 県立・市区立図書館の対面式レファレンス
      • Yahoo! 知恵袋と教えて! gooに質問
        • 国内外でもあまり例がない調査
  • Q. 質問したタイミングは? 相互参照可能性はない?(対面の人がデジタルを見て答えるなど)
    • A. いい質問。あとで見ていく
調査方法
  • 調査対象:
    • デジタルレファレンス・・・関東の都県立図書館6館と市区立図書館3館(デジタルレファレンスをしている市区立自体少ない/利用者をサービス圏域内に限定する者が多い)
    • 対面式・・・同じく6館+市区立25館
    • Yahoo! 知恵袋と教えて! Goo
  • 質問内容:
    • レファレンスサービス演習の授業で使われる質問30問・・・Q&Aサイトで答えが書かれまくったのでもう授業には使えない? 担当教員に頭があがらない
    • 実際の公共図書館2館で利用者から寄せられた30問(2館から15問ずつ)
      • どっちだったかで正答率にあまり違いはない。レファレンスサービス演習のほうが若干低い(授業用なのでトリッキーなせい?)が大きな差ではない
  • 質問方法:
    • 対面・・・2009.8-10に実際に訪問
    • デジタルレファレンス:2009.11-12
    • Q&Aサイト:2009.12・・・対面式等に影響しないようにQ&Aサイトは最後
      • 図書館員がQ&Aサイトに回答する可能性は誤差と考える
調査結果
  • ここでの「正答」とは:
    • 正しい答えが直接かつ十分。正しくない答えはない
    • 正しい答えを含む図書・webページが提示され、答えが容易に見つかる。正しくない答えはない
      • この2つを「正答」とみなす
  • 市区立図書館のデジタルレファレンスの正答率は85.7%・・・レファレンスの正答率としては驚異的
    • 都県立図書館のデジタルレファレンスや対面式、Q&Aサイトよりも高い
    • アメリカでもレファレンスの正答率は55%くらい、「55%ルール」と言われる。前回の日本の調査でもそれくらい
    • 都県立図書館のデジタルレファレンスもQ&Aサイトより高い
  • 対面式とQ&Aサイトの正答率に有意な差はない
    • 都県立図書館と市区立図書館のQ&Aサイトの正答率も有意な差はない
  • 回答時間(質問し終わってから回答までにかかる時間+示された回答が本等の場合に答えを中から見つけるのにかかった時間):
    • デジタルレファレンス・・・1時間以内の回答は2問
    • 対面式・・・53問が1時間以内に回答あり
    • Q&Aサイト・・・22問が1時間以内に回答あり
      • 5-10分未満で答えがつくこともある。世の中、暇な人が多い?
      • デジタルレファレンスは時間がかかる傾向? ただし正答率は他より高い。その分、しっかり調べている?
  • 質問の主題による差は?・・・例えば図書館は図書に関する質問が得意だったりするのでは?
    • 長澤の分類に基づいて8主題別に調べる
    • 図書に関する正答率はデジタルレファレンス@都県立75.0%、市区立85.7%、Q&AサイトはYahoo! 知恵袋50.0%、教えて! goo 46.7%
    • 対面式は都県立60.0%、市区立55.6%。対面式は図書についてもQ&Aサイトと正答率が変わらない
  • 典拠の提示は?
    • デジタルレファレンスでは典拠情報を示さないケースが都県立で6件、市区立4件。NDL-OPAC等で調べているなら示せばいいのでは?
    • Q&Aサイト・・・60問中17件は典拠を示さない。43問は典拠を示していた。うち9件はWikipediaが典拠だが、9問はNDL-OPACWebcat Plusを、5問は政府のwebを典拠とする
      • Q&Aサイトもそんなに捨てたもんじゃない?
      • Q&AサイトはGoogle booksの本の本文を典拠に挙げることもあった。デジタルレファレンスではない
  • デジタルレファレンスを提供している図書館では対面式レファレンスの正答率も高いか?
    • デジタルレファレンスを提供している公共図書館の対面式レファレンス正答率は87.5%
    • 未提供館は57.7%・・・Q&Aサイトと正答率が変わらないのは"デジタルレファレンスを提供していない"図書館の対面式レファレンスの正答率
おわりに
  • Q&Aサイトと市区立図書館の対面式レファレンスの正答率は変わらない
  • デジタルレファレンスを提供するほど熱心に取り組んでいるところは、デジタルでも対面式でもQ&Aサイトを上回っている
    • 取り組めば勝てるかも?
  • 今後・・・
    • 関東以外でもやる?
    • デジタルレファレンスをやっている図書館員へのインタビュー
    • 利用者満足度調査など
ディスカッション
  • Q. これって驚きの結果? 予想通りの結果?
    • A. 僕はそんなに予想能力が高くはないので驚きの結果だったが・・・
  • Q. どこが驚き?
    • A. デジタルレファレンス、それも市区立の正答率が高いこと。都道府県ならお金もあるだろうが市区立で都道府県立よりも高い
  • Q. デジタルレファレンスを提供している図書館の対面の正答率が高い、というが、逆(対面の正答率が高いところがデジタルも提供している)の可能性もあるのでは?
    • A. それは調べていない・・・どうやって調べればいいのか。担当者もインタビューしないとわからないが、どうやって調べたらいいと思う? やっているところがまず少ないわけで、対面式で正答率が高いところが必ずデジタルレファレンスをやっているわけでもない。どうやって調べる? 対面式で正答率の高いところの度数分布を調べればいい?
  • Q. 対面式の時にはあまり七面倒臭い質問が普段は少ないのでは? もともとの質問の傾向と今回のテストの質問の傾向がどういう・・・対面の方が単純な質問が多くて、対面の人は単純なものは答えられるが複雑な質問が苦手だったりするのでは?
    • A. 質問の出自と正答率の関係を見ると、実際に図書館に寄せられた質問についてデジタルレファレンスと対面式に投げている。なので、質問が違うということはない
  • Q. 対面式にはなにか制約があるのでは? ゆっくり調べられなかったりするとか、できるだけ早く回答するプレッシャーがあるのでは?
    • A. それは図書館の世界でも言われている、デジタルはゆっくり答えられるからいい。
  • Q. 対面式だとインタラクションがあるので、図書館員側が既に調べたものを聞いたりするのではないか? そういう反応はあった?
    • A. それは驚くくらいなかった。レファレンス・インタビューが重要と教科書では習うが、そんな細かいことを聞く人はほとんどいない。何か聞かれたのは2-3件。
  • Q. 忙しそうだったりはした?
    • A. 忙しいときには質問していない。暇なとき。
  • Q. デジタルレファレンスで正答率が上がるのは専門性が理由? 時間がかけられるから?
    • A. 専門性に関して言うと、司書資格所持者の数と正答率の関係も見ている。司書資格を持つ専門職員が少ない方が正答率が高い
  • Q. Q&Aサービスの登録人数と正答率の関係は?
    • A. Yahoo! 知恵袋の方がユーザ数は多いが、教えて! gooの方が正答率が高い。Yahoo! 知恵袋2ちゃんねる化して砕けた話題で盛り上がる場でもあり、真剣に質問したい人は教えて! gooの方にいるのかも。
  • Q. 調査対象中、レファ協データベースに参加しているようなところは? 入力率とか。
    • A. 調べていない。調べればよかったかな
  • Q. あれも図書館員個人のやる気と能力に左右されるらしいが、積極的なところは根性があるのでは
    • A. レファレンスにはレファレンスデスクがいるという説もあるが、調査結果ではデスクがない方が正答率が高かった。力を入れているかと正答率の関係はわからない
  • Q. 他で正解が得られなかった質問にデジタルレファレンスだけ答えられた、というようなものはあった?
    • A. すぐには出てこないがあった、と思う。
  • Q. 逆は?
    • A. 1-2個あった気がする
  • Q. 図書館員がQ&Aサービスに答えていればいいのでは?
    • A. そう思う。あるいは図書館員だけのサイト、Question Pointみたいなものを使ってもいいんじゃないか。アメリカみたいで格好良い
  • Q. インフラがすでにあるんだからそこに乗っちゃった方がいいのでは?
  • Q. 図書館員がQ&Aサイトの回答者にいるのでは?
    • A. 誤差の範囲だろう。え、本気で全員図書館員だと思っている?
  • Q. 特に検証はしていないわけで・・・
    • A. 確かめようがないし確率が低い。
    • Q. そもそもこの研究の意義は図書館員VS群集ではなく、図書館 VS Q&Aサイト。
  • Q. Q&Aサイトに投げた時間は?
    • A. 13時と16時。
  • Q. Q&Aサイトは複数回答がつくが、その中に1つ正解があれば正解とみなす?
    • A. そうした。なのでQ&Aサイトが有利だが、実際には複数回答がつくほどはそれほどない。
  • Q. 司書資格の有無とレファレンスサービスの質に相関はある? あるいは経験年数は影響する?
    • A. 司書資格が多い図書館は・・・
  • Q. それは個別のレファレンス回答者ではない。回答者に資格の有無は聞いた?
    • A. いや、聞いていない。ただ、聞くと不自然。
  • Q. 実際のところはわからない、ってこと?
    • A. わからないし、対面式は1人に聞くと図書館員は2-3人出てくる。誰が答えたのかは最終的に判断しにくい
  • Q. この研究の範囲ではないと思うが、どこかにあれば・・・
  • Q. 過去にレファレンスの責任者をやっているときに、覆面調査を受けたことがあったが、録音を聞くだけで回答者が誰かわかる。できる/できないの能力には人によって差がある。いかんともしがたい


いやあ・・・論文読んでいたのですが、あらためて面白い!
自分は常々、当たり外れ(というと表現が悪いですが)のわからない対面式レファレンスよりデジタルレファレンスの方が確実じゃん、と思ってそっちばかり利用しているのですが。
今日のお話を聞く限り同一館であればデジタルでも対面式でも正答率は高いようですが、デジタルレファレンスをやっているところといないところなら、やっているところに聞くほうがより確実であるようですね(ただし関東圏)。
逆に言えば辻先生ご本人もしきりにご指摘のとおり、対面式レファレンス VS Q&Aサイトでは正答率に差がなくとも、デジタルレファレンスはQ&Aサイトを圧倒し、かつ従来のレファレンス正答率をもかなり凌駕しているわけで・・・これはデジタルレファレンスを推し進める上ではかなり面白い結果かと。
回答にかかる時間が難ですが、よく考えれば対面式レファレンスの場合は現場に赴いたり帰る時間もあるわけですし。
知りたいことは図書館に行く前に図書館員にメールで聞くといいよ!(というと言い過ぎと怒られそうか? でも現場で図書館員に聞くよりは正確っていう)


対面式ならインタラクションがあるじゃん、ってところに「そんな例はほとんどなかった」ってのもとても面白いです。
対面式の方は対面式の方で、現場の方が対面であるメリットを生かせていないのが今回の結果につながっているのかも知れませんね。
司書資格取得者数の話といい、興味がつきませんね・・・資格取得者がちゃんとそれを掲げて仕事をする、プロフェッショナル然に振舞っていれば覆面調査でも特定可能なのですが・・・いずれそうなるといよいよ面白いなあ。