普通、学術論文は引用数がその価値を表す数値とみなされるが、引用数は出版後の長い時間かけて増えていく。しかしせっかちな我々は研究のインパクトを早く知りたい。てことで短い期間でのインパクトの指標としてAltmetricsが使われている。簡単に言えばAltmetricsは、SNSやWikipediaなどWebメディア上で論文がどれくらい話題に上がったか、どれくらいダウンロードされているか、などをメディアのタイプごとに重み付けしてスコアリングした指標である。ま、俗っぽい言い方をすると、研究の「バズり」の指標ですね。
論文そのものの学術的なインパクトを直接表しているわけではないが、インパクトがある研究は社会的にも目立ちやすいから、引用数とはおおまかには相関するらしいです。また、SNSやニュースでは出版直後がもっとも話題に上がるので、出版後すぐに伸びるAltmetricsは出版後時間をかけてじわじわと伸びている「引用数」と相補的な関係にあると考えてもいいでしょう。しかしながら、「SNSでバズる研究=学術価値の高い論文」とは限らないので、Altmetricsを引用数同様に解釈することは安直です。あくまで社会的なインパクトという解釈に留めるのが、適切な使い方だという指摘もあります。
Altmetricsに影響する学術的インパクト以外の要因としては、著者がSNSやっているかどうか(Wardle 2016)・分野(Costas et al. 2015)などもあるみたいです。分野間でジャーナルのインパクトファクターの平均が違うことと同じ理由なのでしょう。著者がSNSでアクティブかどうかは確かにAltmetricsに影響しそうですが、SNSのリツイートやシェアはスコア配分が低いので、100オーダーのスコアの場合はそれほど関係ないかもしれません。
このように、一見将来の引用数を反映しているように見えるAltmetricsは、実はそれ以外の要因によっても変わることが分かってきており、Altmetricsスコアは学術的なインパクトを反映するのか?という研究テーマが近年爆誕したらしいです(Costas et al. 2015)。最もシンプルなものとしてはAltmetricsスコアと引用数は相関するのか?といったクエスチョンを調べるようです。
学術的インパクト(引用数)と社会的インパクト(Altmetrics)の相関関係はおおむね正の相関関係を示すそうですが(Costas et al. 2015)、その強さは研究分野によって大きく変わるのかなと思っています。たとえば、生態学・動物学だとユニークで一般的な学問の枠組みから外れてて、「引用されないだろうなぁ」といった研究が良くバズります。その一方で、医学だと重要な臨床研究の成果や薬・ワクチン開発が学術的なインパクトも大きく、Webでも話題に上がりそうです。これは私の妄想ですが、Altmetricsと引用数の相関関係の強さが分野で変わるかかもしれません。まあ研究ありそうだけど、レビューできてないだけか。(Altmetricsついて、詳しくはこちらのブログ参照)
前置きが長くなりましたが、今回は生態学とAltmetricsの関係に絞った話題です。生態学は学問としての歴史が長いにもかかわらず、ジェネラルな意義がある研究とユニークな現象を記述した研究がどちらも同等に評価される、数少ない研究分野だと思います。生態学はそれなりに成熟したDisciplineなので、学問的な意義付けも正当に評価される一方で、教科書的な枠組みから外れた、生き物・自然のユニークな面を記述するという役割も担っているからです(外見が面白い生物種の発見そのものは分類学)。そこで私は、生態学の論文の中で、どちらの方がAltmetrics高いかを調べてみると面白そうだと考えました。なぜならば、上で書いた通りユニークな研究はバズったりニュースになりやすそうであるが、引用はそれほどされないイメージがあるからです。さらに、存在理由が全く異なる論文にもかかわらず同分野なので、分野バイアスを気にせずに比べることができることが可能であることに気が付き、生態学は現象のユニークさと学術的なインパクトの関係を調べるのに適していると考えました。
生態学における「意義はよく分からんが、とりあえずおもしろいからOK!?」って研究は、記載的なナチュラルヒストリー研究に多いと思います。なので今回はある特定のジャーナル(Ecology)に載った、ナチュラルヒストリー論文とそれ以外のAltmetricsや引用数を比べてみます。Ecologyは創刊100年を超える生態学の老舗ジャーナルの一つです。2017年くらいからEcologyのセクション(原著とかレビューとか)にThe Scientific Naturalists(以下SciNat)ができました。インパクトあるユニークなナチュラルヒストリーを記述したレター形式の論文です。もちろん、原著にもナチュラルヒストリー研究が潜んでますが、ほとんどの論文は生態学的意義の基準を査読プロセスでクリアしているはずなので、原著は「ジェネラルな意義がある論文」とみなしました。
そこで今回はEcologyに最近出版されたOriginal articleとSciNatの引用数やAltmetricsを比べてみます。簡単な作業仮説は①「SciNatは引用は少ないけど、AltmetricsはOriginal articleよりも高い」になります。また、ユニークな研究は、引用されないけど社会的なインパクトが大きくなりやすいと予想して、②「引用数とAltmetricsの相関係数はSciNatよりもOriginal articleの方が大きい」と仮説を立てました。
引用数の調べ方
Web of Scienceを使いました。SciNatはWOS上ではEditorial materialsとして扱われているので(ちょっと悲しい。。。)、2017~2018年のEcologyのEditorial materialsを一括で検索して、Commentsとかをマニュアルで消してから平均の引用数を計算しました。2019~2021年は最近過ぎるので引用数の評価は難しいのでやめました。Original articlesも同様に2017~2018年にかけての引用数の平均値を計算しました。母数が違うので(SciNat:62、Original:532)、サンプリング効果(母数が高いと引用数が超高いスーパー論文が偶然入り込む確率が高くなる)もありえますが、その辺は補正してません。てか方法知りません。そして平均値の大きさを比べました。
結果&簡単な解釈
平均値はOriginal=15.00・SciNat=4.87とOriginal articleのほうが約3倍も引用数は多かったので、仮説通りの結果と言えるでしょう。ポアソン分布の一般化線形モデル(GLM)で出版年と論文タイプが引用数に影響しているかを解析したら、各要因で有意であるのみならず(p<0.0001)、意外にも交互作用が有意となった(p=0.001)。出版年を分けて解析した結果、SciNatは年の効果が有意ではなかったが(平均で見るとむしろ2018年の方が高い)、Original articleは年の効果が有意で2017年の方が引用数が多かった。Original articleのほうが外れ値が多いのは、サンプリング効果なのかもしれません。
緑がOriginal article・紫がSciNat
上図がすべてのデータを突っ込んだもの、下図がサンプルサイズをそろえたもの。
いづれもOriginal articleが引用数が多い。
Altmetricsの調べ方
引用数とAltmetricsの相関関係が気になるので上と同様に、2017~2018年のEcologyに掲載された原著とSciNatのAltmetricsを比べました。母数を揃えるために、Originalは対象期間の各号から掲載順上位から3本のみ、SciNatは2017~2018年のものすべてにしました(SciNat:62、Original:72)。平均値を論文タイプ間で比べ、それぞれの引用数—Altmetricsの相関関係を調べました。
結果
Altmetrics
AltmetricsはSciNatの方が高いという結果であった。平均はSciNat=85±174・Original article=22±29でした。GLMの結果、論文タイプ・年・交互作用すべて有意であった。2017年より、2018年の方がAltmetrics高いという結果は、もしかしたらAltmetricsの普及が進んでいるのが最近だからからかもしれない。。
緑がOriginal article・紫がSciNat
Y軸は対数変換したAltmetrics
Altmetrics-引用数の相関
どちらの論文タイプでも、Altmetricsと引用数は有意な正の相関関係がみられた(相関検定)。相関係数はSciNat=0.30、Original article=0.34。この差はほぼ同じだろうから、仮説「引用数とAltmetricsの相関係数はSciNatよりもOriginal articleの方が大きい」を支持するパタンは得られませんでした。傾きはOriginal articleは7.06、SciNatは2.32と前者で大きかったです。
緑がOriginal article・紫がSciNat
X軸は対数変換したAltmetrics
興味深いことに、2017年と2018年で異なる結果が得られた。SciNatについては2017・2018年ともに有意な正の相関関係がみられたが[2017:0.43(p=0.03),2018:0.33(p=0.05)]、Original articleは2017年は有意な相関は見られず、2018年は正の相関関係がみられた[2017:0.12(p=0.48),2018:0.45(p=0.004)]。2018年については相関係数0.45とかなり強い相関になっている。傾きは2018年、Original articleは13.5、SciNatは1.96でした。2017年は、Original articleは2.67、SciNatは2.89でした。
緑がOriginal article・紫がSciNat
X軸は対数変換したAltmetrics
考察
仮説①は支持されました。つまりSciNatはOriginal articleよりも引用はされないが、Altmetricsは高いということです。これは、生態学には、学術的なインパクト(将来の引用数)に対するバズりやすさ(Altmetrics値)の割合、つまりAltmetricsによる将来的な学術的なインパクトの予測力は、ナチュラルヒストリー研究とGeneral ecology研究では違う可能性を示しています。研究領域間でAltmetricsの値や引用数との相関の強さが違うという研究がありますが(Htoo & Na 2017)、同じ分野内(今回は同じジャーナル)のタイプが異なる論文間でも違いが見つかることも珍しいと思います。Altmetricsによって学術的なインパクトを予測する場合に気を付けることとして、「引用されないがバズりやすい論文」と「引用数とバズりやすさが平均的な論文」を単純に比較しないことが指摘できます。
SciNatの引用数が少ない理由を解釈するときに考慮するべき点としては、論文のボリューム、つまり文字数の違いがあげられます。文字数がOriginal articleの3分の1くらいなので、文字数や結果が少ないと引用できる部分が少なくなる可能性があります。たとえば、5種のデータが乗っている論文は、1種の論文よりも引用される可能性が高くなりますし、結果の図を引用することが多いことを踏まえると、図が多い論文のほうが引用されやすくなります。
仮説②は部分的に支持されました。全体的にSciNatでも引用数とAltmetricsの有意な正の相関関係がみられたが、相関係数はほとんど変わりませんでした。直線の傾きがOriginal articleのほうがSciNatよりも大きかったのは、同じAltmetricsであっても、前者の方が引用数が多くなる傾向があることを示してます。これは1パラの考察をサポートしてます。
興味深いことに、2017年のOriginal articleでは引用数とAltmetricsの相関がみられなかったです。Original articleのAltmetricsは引用数を上手く予測できると思ってましたが、そうなりませんでした。可能性の一つとして、2017年と比べて2018年の方が研究者はAltmetricsを重視している可能性があります。Altmetricsが高い論文に注目が集まることで認知度が高まり、引用されやすくなったのかもしれません。つまり、科学者コミュニティーのAltmetricsに対する態度が2017年と2018年で変わったからかもしれません。Altmetrics値が2017年よりも2018年で有意に高かったことは、この考察を部分的にサポートしています。もちろんこれは2年間だけで結論付けることはできないので、今後さらに数年間のモニタリングが必要でしょう。もしもAltmetricsが引用数に影響するのであれば、引用数の指標としてAltmetricsを使うことについて慎重に考えていく必要が出てくるので、これは結構重要な事実です。
仮説に反し、意外にもSciNatではAltmetricsと引用数の関係が有意でした。論文タイプ間の比較を通して、「ナチュラルヒストリー論文(SciNat)はバズりやすいが引用されない」ことを考察しました。しかし、ナチュラルヒストリー論文だけを見ると、バズりやすい論文は引用されているというパタンが得られました。SciNatにおける引用数とAltmetricsの関係は相関関係というよりはむしろ、Altmetrics(バズり)⇨引用数の因果関係があるのかもしれないと考えています。レター形式であるSciNatの論文はAbstractがないし、書き出しが独特であるため、スキムリーディングでは内容を理解しにくいです。ニュースやSNSを通して内容を知って論文を引用するよう程度がOriginal articleよりも大きいのかもしれません、知らんけど。
Altmetricsから引用数への因果関係をデータで示すことはできてませんが、論文数が爆発的に増えている現在、引用したり読んだりする論文をSNSやニュースを通して知ることの重要性は増々高くなっていると感じます。これは今後調べていくべきテーマになる気がしてます。
ナチュラルヒストリー論文は、たくさん引用されることというよりは、「生物・自然スゲー」と研究者や非研究者を喜ばせるという役割が大きいと思います。研究は「楽しい」・「役に立つ」の2択です。普通はこの対比は基礎研究と応用研究に対して使われますが、基礎生態学においては「楽しい」ナチュラルヒストリー論文・「役に立つ」General ecology論文という役割分担だと思っています。そういった意味でも今回の結果は、こういった論文の役割の違いを、Altmetricsと引用数を使って定量的に示すことができたのでよかったです。
最近多くのジャーナルがナチュラルヒストリーコーナーを作り始めているようです(
参照)。その理由は、仮説検証がメインになって久しい生態学に、現在は軽視されているが生態学の源流たるナチュラルヒストリー記載研究に再びスポットライトを浴びせるため、と考えられます。その一方で、この調査で得られた「ナチュラルヒストリーはAltmetricsが高い」というデータを踏まえると、研究の社会的なインパクトがますます重要になっている昨今において、バズりやすいナチュラルヒストリー研究を掲載することでジャーナルの社会的なプレゼンスを高めるという理由もあるのかもしれません。
以上、結果の解釈はかなり粗いですが、解析と執筆楽しかったです。最近、夜にメイン研究しないライフスタイルをとっているが、それだと暇すぎるので、こうした自分の研究と関係ない気軽な研究・調査をやることにしている。今回は面白データが得れたので嬉しくてブログ記事としてポストしてしまった。100%自己満足
引用
Costas et al. (2015) Do “Altmetics” correlate with citations? Extensive comparison of Altmetric indicators with citations from a multidisciplinary perspective. Journal of the Association for Information Science and Technology, 66, 2003-2019.
Wardle, D. (2016). Why Altmetric scores should never be used to measure the merit of scientific publications (or'how to tweet your way to honour and glory'). Ideas in Ecology and Evolution, 9(1).
Htoo, T. H. H., & Na, J. C. (2017). Disciplinary differences in altmetrics for social sciences. Online information review.
Altmetricsについてのブログ記事リンク
コメント
コメントを投稿