研究評価分析ツール（1）：概要と課題
ディスカバリーサービスの扱いに慣れてきて、最近は名寄せも含めた著者名典拠（参考）の整備や研究者DBとの連携まわりの仕事にリソースを割いてます。
その関係でいわゆる「研究評価分析ツール」の勉強をしないといけなくなり、いろいろと調べたり、読んだり、触ったりしているところです。勉強したてなのでどうにもまとまらないのですが、理解できたところから少しずつメモしていきたいと思い。
概要
研究評価分析ツールと述べましたが、やや乱暴なきらいは否めません。実際、この手のツールには、
などとさまざまに呼び表されており、コンテキストによって微妙に異なる力点を持っているように見えます。標準化の動向（EuroCRISがCERIFという仕様を作っているらしい）を見ると、ある部分についてはCRIS（くりす？）が有力な気もしますが、よくわかんないですね。以下、とりあえず「研究評価分析ツール」で統一します。
呼称はともかく、ざっくりいえば、研究者のプロフィールおよびその研究成果（例えばInCitesならWeb of Science、SciValならScopusという引用分析データベースが基礎となる）という2種類のデータベースをもとに、さまざまな観点（指標）から、国／機関／研究グループ／研究者個人の研究活動の現状を把握し、強み／弱みの分析を行い、エビデンスに基づき戦略立案を行うためのツール、だと言えるでしょう。
ここでキーとなるのはもちろん引用分析です。関係テーマに例えばビブリオメトリクスや名寄せがあります。
ツールの例
例えば、市販されているツールにはこのようなものがあります。
- Thomson Reuters: InCites
- Elsevier: SciVal, Pure Experts Portal
- ProQuest: Pivot
- Symplectic: Elements
このうち、（少なくとも）日本の大学ではInCitesとSciValが二強でしょう。
大学図書館というよりは、研究評価セクションやURAがイニシアティブを取って導入しているという印象があります。下手すると、自大学で導入しているかどうか、図書館では把握できてないケースもあるのではないか。。
レビューの不在
先ほども述べたようにツールによって基礎とする引用文献データベースが違うわけで、その結果として算出される評価も異なってくると考えるのが自然だろうと思います。公平な評価は難しいという一般論はさておき、特定のツールに依存した評価はそれ以上でもそれ以下でもないと捉えるべきでしょう。
そう考えると、思考停止で「複数のツールを入れるべき」という結論にもなりますが、タダじゃないんだから、どちらか一方を入れるならどちらにしようという意思決定が必要なシーンもある。そのためにもなんらかのレビューが欲しいなと思うのです（非公開で流通している可能性はあるけど）。
私も、これらのツールについてざっくりとした知識はあっても、この会社のこのツールにはこういった機能があって、別の会社のツールと比較すると……というようなところまでは理解できてません。そもそも、この領域について日本語で読めるサーベイというのは自分の知るかぎり出版されてないようで、そんな危機感もあってミシガン大のレポート（その後事情があって非公開に）を紹介したこともありました。それから1年半ほど経った現在でも状況は変わってないと思います。
自分で調べてみる
自分で調べてみて戸惑ったのは、主に、
- いろんなことができすぎて、何に注目したらいいかよく分からない。
- ソリューションのポートフォリオが複雑で、全体像がよく分からない。
の2点でした。
前者については、まずはざっくりと、
- マクロな分析
- ミクロな分析
の2種類に分けて捉えてみるといいのではと思えました（仮説）。前者は機関レベルあるいは機関以上のレベルでの比較分析を行うもので、後者は機関内の研究者レベルでの分析を行うもの、という感じ。後者にはおのずと研究者のプロフィールデータが必要なので、それをベンダに渡して処理してもらう（ここで名寄せも？）。
後者については、幸いElsevierとThomsonについてはソリューションの再編が行われており、そのおかげで多少は理解がしやすくなるのではと期待しています。
- SciVal Spotlight + SciVal Strata → SciVal（2014年1月）
- SciVal Experts → Pure Experts Portal
- InCites Next Generation（2014年7月）
なお、PureはもともとAtiraという会社の製品だったんですが、2012年にElsevierに買収されました。オランダの会社なので、欧州での導入機関が多いんですね（PureとSciVal Expertsの導入機関リスト）。
課題
調べながら今後の課題だと思ったことをメモ。
（2）研究者データベースとの棲み分け
研究評価分析ツールは、いわゆる研究者データベースとしても使えるようで。例えば、早稲田大学や芝浦工業大学がSciVal Expertsの画面を一般公開していますので見ていただくとイメージがしやすいかな（非公開にすることも可能）。
もちろん同大学はこれとは別に研究者データベースを整備・公開しています。このような既存の研究者データベースと、研究評価分析ツールと、さらに言うとresearchmapと、それら似たようなデータベースの棲み分けが課題になるでしょう。併存させるなら、最終的にどこに情報を集約させるのか、整理しないといけない。。現状、SciVal Expertsがそのまま一般市民を対象としたサイトとして使えるかっていうと厳しいと感じますが。
（3）基礎データ
研究評価分析ツールの基礎となるデータベース（Web of ScienceやScopus）はSTM／英語に偏っています。人社系／日本語の穴をどうするか。
一方で中韓はというと、そういえば先月Web of Scienceに韓国のデータがっていうニュースが流れていたなあという話をFacebookでしていたら、@knagasaki さんに反応していただき、参考になるツイートをしていただけました。
なんでも自前でできる自立した先進国であること自体はとても良いことなのだが、国際的な枠組みにのせないとうまくいかないことも色々あって、我国はそこの取捨選択がどうもうまくないというか、そこにはいつも注意深くあらねばならないと思うのである。
— Kiyonori Nagasaki (@knagasaki) 2014, 6月 19大学の国際ランキングをあげることが重要だという話が結構広まっているが、人文系ランキングでは日本の大学は一つもあがっていなくて、おそらくWoSのAHCIが日本の論文情報をほとんど拾ってないことが結構効いているような感じなので、その対策に少しお金をかけると対費用効果が高いのではと（続
— Kiyonori Nagasaki (@knagasaki) 2014, 6月 19承前）引用情報をデジタル化しないとＣＩに掲載されないのだが人文系のジャーナルでそれをしているところは希少だと思う。自動化できないのが問題の一つだと思うが別に人手をかけて手動でやってもいいのでまずデータを作るワークフローを確立してから…と、NIIの電子化事業を拡張するのが（続
— Kiyonori Nagasaki (@knagasaki) 2014, 6月 19承前）早かったのではと思うのだがもう間に合わなさそうであり、人文系学協会の自助努力では明らかに無理っぽいのでＪＳＴが手伝うか何か新しい事業を作るか…。とにかくデータが継続的に作れれば載せるところ次第で次の展開が出てくると思うので、どこかなんとかしてくれないものかと。
— Kiyonori Nagasaki (@knagasaki) 2014, 6月 19このあたり、人文系URAと大学図書館の連携がキーになるかもと思っていて、
- http://kulibrarians.g.hatena.ne.jp/kulibrarians/20131025/1382152591
- http://jram.w3.kanazawa-u.ac.jp/3rdura_5thra/program.html （RA-S06 人文社会学系への支援のあり方）
を挙げてみます。機関リポジトリのデータが基礎データとなりうるのかっていうと難しいかもしれないけど。。
