読者です 読者をやめる 読者になる 読者になる

研究評価分析ツール(1):概要と課題

ディスカバリーサービスの扱いに慣れてきて、最近は名寄せも含めた著者名典拠(参考)の整備や研究者DBとの連携まわりの仕事にリソースを割いてます。

その関係でいわゆる「研究評価分析ツール」の勉強をしないといけなくなり、いろいろと調べたり、読んだり、触ったりしているところです。勉強したてなのでどうにもまとまらないのですが、理解できたところから少しずつメモしていきたいと思い。


概要

研究評価分析ツールと述べましたが、やや乱暴なきらいは否めません。実際、この手のツールには、

  • 研究戦略策定支援ツール
  • 研究評価ツール
  • 研究分析ツール
  • 研究者情報システム
  • 研究情報管理システム
  • CRIS(current research information system)[*1]

などとさまざまに呼び表されており、コンテキストによって微妙に異なる力点を持っているように見えます。標準化の動向(EuroCRISがCERIFという仕様を作っているらしい)を見ると、ある部分についてはCRIS(くりす?)が有力な気もしますが、よくわかんないですね。以下、とりあえず「研究評価分析ツール」で統一します。

呼称はともかく、ざっくりいえば、研究者のプロフィールおよびその研究成果(例えばInCitesならWeb of Science、SciValならScopusという引用分析データベースが基礎となる)という2種類のデータベースをもとに、さまざまな観点(指標)から、国/機関/研究グループ/研究者個人の研究活動の現状を把握し、強み/弱みの分析を行い、エビデンスに基づき戦略立案を行うためのツール、だと言えるでしょう。

ここでキーとなるのはもちろん引用分析です。関係テーマに例えばビブリオメトリクスや名寄せがあります。




ツールの例

例えば、市販されているツールにはこのようなものがあります。

このうち、(少なくとも)日本の大学ではInCitesとSciValが二強でしょう。

大学図書館というよりは、研究評価セクションやURAがイニシアティブを取って導入しているという印象があります。下手すると、自大学で導入しているかどうか、図書館では把握できてないケースもあるのではないか。。




レビューの不在

先ほども述べたようにツールによって基礎とする引用文献データベースが違うわけで、その結果として算出される評価も異なってくると考えるのが自然だろうと思います。公平な評価は難しいという一般論はさておき、特定のツールに依存した評価はそれ以上でもそれ以下でもないと捉えるべきでしょう。

そう考えると、思考停止で「複数ツールを入れるべき」という結論にもなりますが、タダじゃないんだから、どちらか一方を入れるならどちらにしようという意思決定が必要なシーンもある。そのためにもなんらかのレビューが欲しいなと思うのです(非公開で流通している可能性はあるけど)。

私も、これらのツールについてざっくりとした知識はあっても、この会社のこのツールにはこういった機能があって、別の会社のツールと比較すると……というようなところまでは理解できてません。そもそも、この領域について日本語で読めるサーベイというのは自分の知るかぎり出版されてないようで、そんな危機感もあってミシガン大のレポート(その後事情があって非公開に)を紹介したこともありました。それから1年半ほど経った現在でも状況は変わってないと思います。




自分で調べてみる

自分で調べてみて戸惑ったのは、主に、

  • いろんなことができすぎて、何に注目したらいいかよく分からない。
  • ソリューションのポートフォリオが複雑で、全体像がよく分からない。

の2点でした。

前者については、まずはざっくりと、

  • マクロな分析
  • ミクロな分析

の2種類に分けて捉えてみるといいのではと思えました(仮説)。前者は機関レベルあるいは機関以上のレベルでの比較分析を行うもので、後者は機関内の研究者レベルでの分析を行うもの、という感じ。後者にはおのずと研究者のプロフィールデータが必要なので、それをベンダに渡して処理してもらう(ここで名寄せも?)。

後者については、幸いElsevierとThomsonについてはソリューションの再編が行われており、そのおかげで多少は理解がしやすくなるのではと期待しています。

  • SciVal Spotlight + SciVal Strata → SciVal(2014年1月)
  • SciVal Experts → Pure Experts Portal
  • InCites Next Generation(2014年7月)

なお、PureはもともとAtiraという会社の製品だったんですが、2012年にElsevierに買収されました。オランダの会社なので、欧州での導入機関が多いんですね(PureとSciVal Expertsの導入機関リスト)。




課題

調べながら今後の課題だと思ったことをメモ。

(1)研究分析評価ツールの習熟

URAならさらっと使えるというわけでも、大学図書館員ならさらっと使えるというわけでも、ないと思う。この手のツールのエキスパートになるには相当のトレーニングがいる。。


(2)研究者データベースとの棲み分け

研究評価分析ツールは、いわゆる研究者データベースとしても使えるようで。例えば、早稲田大学芝浦工業大学がSciVal Expertsの画面を一般公開していますので見ていただくとイメージがしやすいかな(非公開にすることも可能)。

もちろん同大学はこれとは別に研究者データベースを整備・公開しています。このような既存の研究者データベースと、研究評価分析ツールと、さらに言うとresearchmapと、それら似たようなデータベースの棲み分けが課題になるでしょう。併存させるなら、最終的にどこに情報を集約させるのか、整理しないといけない。。現状、SciVal Expertsがそのまま一般市民を対象としたサイトとして使えるかっていうと厳しいと感じますが。


(3)基礎データ

研究評価分析ツールの基礎となるデータベース(Web of ScienceやScopus)はSTM/英語に偏っています。人社系/日本語の穴をどうするか。

一方で中韓はというと、そういえば先月Web of Scienceに韓国のデータがっていうニュースが流れていたなあという話をFacebookでしていたら、@knagasaki さんに反応していただき、参考になるツイートをしていただけました。

このあたり、人文系URAと大学図書館の連携がキーになるかもと思っていて、

を挙げてみます。機関リポジトリのデータが基礎データとなりうるのかっていうと難しいかもしれないけど。。


(4)助成機関/助成金番号のデータ

Web of ScienceやScopusのデータを見ていると、その研究成果に対する助成金情報がメタデータとして書かれていることがあります。論文に書かれていた情報の転記なのですが、助成機関はともかく、助成金番号のほうはまだまだ少ないという印象。研究評価分析ツールのなかで助成成果のトラッキングが期待されるとして(想像)、どうやってその情報を入れるのか。ProQuestのPivotはそのへん強いのだろうか。

ってことで、去年FundRefの解説記事を書いておいてよかったと思ったりしたわけです。







その2に続きます。