Review文献类型标注对科研评价结果的影响
The Influence of Review's Document Type Marking on the Results of Research Evaluation
通讯作者:
Corresponding authors:
[目的/意义] 为了提升论文文献类型标签的准确性,了解论文文献类型标签准确性对科研评价结果的影响大小,[方法/过程] 该文选取9个系列的159本Review期刊在2017-2018年发表的论文作为研究对象,对比分析了这些论文在Web of Science、Scopus和期刊官网上文献类型标注的差异,并通过召回率、准确率和F1-score三个指标对差异进行测度,并选取期刊Annual Review of Analytical Chemistry作为典型案例,分析其文献类型标签改变对文献类型归一化指标CNCI的影响程度。[结果/结论] 研究发现不同出版商的Review系列期刊和不同类型Review期刊在不同数据库中的文献类型标注准确率存在差异,案例分析发现CNCI对文献类型标签变化极为敏感,基于CNCI的指标,如JCI也较为敏感。因此,为了保证科研评价指标的准确性,文献类型标签的准确性很重要,而为了更好实现文献类型归一化,发展和使用更为鲁棒性的指标是关键。
关键词:
[Objective/Significance] In order to improve the accuracy of paper type marking and understand the impact of the accuracy of paper type marking on the results of research evaluation, [Method/Process] this paper selects 159 papers published in nine series of review journals from 2017 to 2018 as the research object, compares and analyzes the differences of these papers in document type marking on Web of Science, Scopus and the official website of journals, and measures the differences through three indicators: recall rate, accuracy rate and F1 score, and the journal Annual Review of Analytical Chemistry is selected as a typical case to analyze the influence of the change of the document type marking on CNCI,a document type normalization index. [Results/Conclusions] The study found that there were differences in the accuracy of document type marking between review series journals of different publishers and review journals of different types in different databases. The case study found that CNCI was extremely sensitive to changes in document type mark, and CNCI based indicators, such as JCI, were also more sensitive. Therefore, in order to ensure the accuracy of research evaluation indicators, the accuracy of document type marking is very important, and in order to better realize the normalization of document types, developing and using more robust indicators is the key.
Keywords:
本文引用格式
朱曼曼, 沈哲思, 陈福佑, 杨立英.
Zhu Manman, Shen Zhesi, Chen Fuyou, Yang Liying.
1 引言
不同文献类型在科研交流中发挥的作用不同,因此,为了消除不同文献类型对科研评价结果的影响,需要对不同文献类型进行归一化处理。对于涉及到依据文献类型进行归一化的评价指标,文献类型标签的准确性将对评价结果产生影响。
对于各种文献类型来说,明确的定义是准确分类的前提,分类的结果是要赋予类标签,文献类型标签一方面可以方便检索和定位,另一方面也为数据分类统计分析奠定基础。为了保障评价结果的正确性,需要对所使用数据源中的文献类型标签的准确性进行判断,首先是了解数据的可用性,判断是否能够满足需求;然后是了解可能会对评价结果产生影响的程度,判断是否能接受。
因为科研界普遍认为不同文献类型有各自的引用模式和作用特点,所以,在做科学分析时首先需要分析哪些文献类型应该包含在内[1] 。Article和Review作为重要的文献类型,一般科研评价都会将其作为主要的数据基础。早在1951年,尤金·加菲尔德(Eugene Garfield)就意识到Review论文在科学交流中的重要性,开始研究其特点[2],并利用Review论文的明确引用关系,实现索引过程的自动化,推动了Science Citation Index的产生和发展[3] 。就Review的作用而言,因为综合了大量碎片化知识,不仅节省了大量阅读的时间,还为普通读者和跨学科研究的科研人员了解领域知识和认识不同研究工作之间的关联关系提供了极好的阅读材料[4] 。Review一直是科学计量学领域非常重要的研究对象,2019年9月的国际科学计量学与信息计量学大会(International Conference on Scientometrics & Informetrics,简称ISSI)明确提出在使用数据库时要注意文献类型标签的准确性不足等问题[5] 。
2 问题的提出
当前关于科技文献类型的研究主要分为以下四类。
(2)不同数据源中文献类型标签差异的对比分析。针对18本Nature集团出版的期刊,分析其论文在Web of Science、Scopus和期刊官网三者之间的文献类型对应关系,发现同一数据集在Web of Science、Scopus和Nature中分别对应不同的文献分类,且文献类型种类也不尽相同。Article、Letter、Editorial、Review等文献类型在3种文献分类体系下均存在,但其含义却不甚相同[8]。有学者利用随机选择的791篇论文组成的论文集对比分析了Web of Science、Scopus和期刊官网中的论文文献类型标签差异,发现与人工标注的结果相比,Web of Science的准确率和召回率均优于Scopus,Scopus的两个指标值均低于85%[9]。
(4)基于文献类型归一化优化定量指标的方法研究。影响因子的计算是不区分Review和Article的,但是考虑到不同文献类型的引用模式差异,许海云等结合专家建议和序关系转换权重的原理和算法,提出了基于期刊文献类型的序关系转换权重的影响因子,以赋予不同文献类型权重的方式改进了影响因子[13]。而中国科学院文献情报中心期刊分区表则是通过将期刊区分成Review期刊和非Review期刊的方式,优化期刊分区方法。
总之,Review论文普遍被引频次较高,对于基于被引频次的评价指标影响较大,如果不区分Review和Article,那么Review论文和Review期刊都将在评价中占据较大优势。进行文献类型归一化是实现不同文献类型可比的重要措施,但前提是要确保文献类型标签的准确性,因为一旦Article被误标为Review,就相当于削减了权重,而Review被误标为Article则是增加了权重。因此,本文的研究内容主要包含两方面:(1)对比分析不同数据源Review论文文献类型标签的差异;(2)分析Review的文献类型标签正确与否对基于文献类型归一化指标的影响。
3 不同数据源中Review标签的差异比较
3.1 Review的定义
对Review论文的定义是制定Review判断标准的前提,目前科研界和出版界的共识是:Review指对特定研究方向的发展现状的概述和整合,阐明其研究的趋势,指出研究空白,为以后的研究指明方向的综述性成果。Review可以让科研决策者和科研人员更清楚地了解新兴领域知识的潜在重要性[14]。
3.2 数据与方法
3.2.1 数据选择与采集
为了扩充数据集,本研究选择了两类具有代表性的Review系列期刊作为样本:一是纯Review期刊,如Annual Reviews出版社发行的系列期刊,这类期刊只发表Review论文;二是Nature出版社发行的Nature Reviews系列等主要包含Review类型论文的混合Review期刊。具体来说,为了实现对Web of Science、Scopus和期刊官网3个数据源中Review标签差异的对比,本研究从2019年JCR中选取了5组纯Review期刊、4组混合Review期刊,总计159种期刊。上述期刊的系列名称及相关数据见表1。
表1 Review系列期刊列表
系列期刊名称 | 期刊类型 | 期刊数量/种 | 论文数量/篇 |
---|---|---|---|
Annual Reviews | 纯Review | 39 | 1842 |
Cell Trends In series | 纯Review | 15 | 3206 |
WIREs-Wiley Interdisciplinary Reviews | 纯Review | 9 | 755 |
Elsevier Current Opinion | 纯Review | 20 | 4983 |
Wolters Kluwer Current Opinion | 纯Review | 24 | 4333 |
Nature Reviews | 混合Review | 18 | 5975 |
Taylor & Francis Expert Opinion | 混合Review | 11 | 2519 |
Taylor & Francis Expert Review | 混合Review | 13 | 2737 |
Taylor & Francis Critical Review | 混合Review | 10 | 1180 |
合计 | — | 159 | 27530 |
2019年JCR中包含的是2017-2018年发表的论文,为了全面获取以上Review期刊的论文,首先是从期刊官网上选取2017-2018年正式发表的论文作为基础数据集,一共收集了27 530篇论文,然后,利用论文DOI(Digital Object Identifier,不依赖于任何单一数据源的论文唯一标识符)去Web of Science和Scopus中回溯这些论文。因为存在收录不全、DOI缺失、错误或重复等问题,所以,对于利用DOI没有找到的论文,再采用论文标题、期刊刊名和其他字段信息进行检索,并对检索到的结果进行人工判断。图1是WIREs Nanomedicine and Nanobiotechnology上发表的一篇文章,期刊官网上标注的文献类型标签是“Advanced Review”,利用DOI可以看到这篇论文在Web of Science和Scopus中对应的记录以及文献类型标签。
图1
3.2.2 不同数据源中Review标签差异的测度
对于所有纯Review期刊,所有研究性论文都将被统一标注为“Review”,而对于混合Review期刊,文献类型标签的确定则以期刊官网为准,对于没有给论文单独标注文献类型标签的论文则以论文所在期刊栏目标题为依据。因为不同出版商、不同数据库中会对同一类型的论文添加不同标签,因此为了方便分析,将三个数据源中的所有文献类型统一分为“Review”“Article”和“其他”三类。
Review标签在不同数据源中的差异对比以期刊官网为基础数据集,以Web of Science和Scopus为参照数据集。本研究认为论文出版时确定的文献类型理论上算是较为准确的,而且针对选出的期刊也和出版商进行了确认,因此以期刊官网的文献类型标签为金标准,再来分析其他两个数据库中文献类型标签和金标准的差异。主要包含以下三个指标:
◆ 准确率 = 数据库和期刊官网同时标注为Review的论文/数据库中标注为Review的论文
◆ 召回率 = 数据库和期刊官网同时标注为Review的论文/期刊官网标注为Review的论文
◆ F1-score = 2/(1/准确率+1/召回率)
准确率是衡量结果相关性的指标,召回率是衡量返回多少真正相关结果的指标,F1-score则综合了准确率和召回率,三个值都是越高越好。如果准确率较低,说明数据库将期刊官网中标注为非Review的论文较多地打上“Review”的标签;而数据库越多地将期刊官网中标注为Review的论文打上“Review”的标签,则召回率越高。
3.3 数据结论
就召回率而言,不同期刊系列之间差距较大,Elsevier的Current Opinion系列、Nature Reviews系列,以及Taylor & Francis的Expert Opinion和Expert Review等系列期刊在 Scopus 中的召回率较高,但Annual Reviews系列期刊在Web of Science中具有较高的召回率,剩下的系列期刊则在两个数据库中的召回率差不多。对于WIREs系列期刊,召回率在两个数据库中都比较低,在Scopus和Web of Science中的召回率分别为63.4%和65.5%。Wolters Kluwer的Current Opinion系列期刊在两个数据库中的召回率都比较高,但是剩下的纯Review期刊系列在Web of Science的召回率则低于混合Review期刊,在Scopus中也具有同样的规律,Elsevier的Current Opinion系列期刊除外。
从准确率来看,Taylor & Francis的三组期刊在Scopus中好于Web of Science,但是Nature Reviews和Wolters Kluwer的Current Opinion系列期刊的结果则相反。整体来看,5组纯Review系列期刊在Web of Science和Scopus两个数据库中的准确率都比较高,基本上都是准确的。但是4组混合Review期刊则差距较大,最低的准确率只有54.5%。
因为F1-score是对准确率和召回率的一种平衡,所以,对Web of Science和Scopus两个数据库相对于期刊官网的Review标签的差异进行了综合。Annual Reviews系列期刊在Web of Science中的标签一致性更好,但是Elsevier和Taylor & Francis共4组期刊则在Scopus中的标签一致性较高,剩下的几组期刊在两个数据库中的标签则是基本一致的。9组期刊在三个数据源的差异对比结果详见表2。
表2 Web of Science、Scopus和期刊官网中Review论文标签差异
Review系列期刊 | Web of Science | Scopus | ||||
---|---|---|---|---|---|---|
召回率 | 准确率 | F1-score | 召回率 | 准确率 | F1-score | |
Annual Reviews | 83.5 | 99.9 | 91.0 | 71.5 | 99.7 | 83.3 |
Cell Trends | 73.0 | 100.0 | 84.4 | 73.7 | 100.0 | 84.8 |
WIREs | 65.5 | 99.8 | 79.1 | 63.4 | 99.8 | 77.5 |
Elsevier Current Opinion | 72.9 | 99.5 | 84.2 | 100.0 | 100.0 | 100.0 |
Wolters Kluwer Current Opinion | 99.1 | 100.0 | 99.5 | 98.5 | 99.1 | 98.8 |
Nature Reviews | 83.7 | 99.3 | 90.8 | 88.6 | 92.4 | 90.5 |
Taylor & Francis Expert Opinion | 86.6 | 85.9 | 86.2 | 98.7 | 97.0 | 97.9 |
Taylor & Francis Expert Review | 93.6 | 93.3 | 93.4 | 99.9 | 99.1 | 99.5 |
Taylor & Francis Critical Review | 99.8 | 54.5 | 70.5 | 98.7 | 87.8 | 92.9 |
4 Review标签差异对科研评价结果影响
对于考虑文献类型的归一化评价指标,论文文献类型标签的准确性将对指标结果产生较大影响。对文献类型进行归一化就是为了解决不同文献类型之间的可比性问题,如果论文文献类型标签有误,那么不仅达不到可比的目的,也会影响归一化的效果。本文将结合以下案例说明Review文献类型标签差异将会对科研评价结果产生的影响。
4.1 数据与方法
4.1.1 数据选择与采集
在第3章对Review标签在不同数据源中的差异对比中,发现Annual Reviews出版社的Review期刊Annual Review of Analytical Chemistry所发表的全部论文在Web of Science中都被标注为了“Article”,可以作为典型案例用于分析Review标签差异对科研评价结果的影响。期刊的研究方向、每篇论文的被引频次、每篇文章的文献类型、类别预期被引频次、学科规范化的引文影响力均来自Incites,而期刊的期刊引文指标JCI来自JCR。
期刊Annual Review of Analytical Chemistry在Incites中被复分为两个主题领域,分别是:CHEMISTRY, ANALYTICAL和SPECTROSCOPY。在Incites中按照主题领域进行检索,分别获得CHEMISTRY, ANALYTICAL和SPECTROSCOPY两个主题领域中每篇论文的相关指标。以Annual Review of Analytical Chemistry 2018年发表的论文为例进行分析。2018年Annual Review of Analytical Chemistry共发表论文23篇,根据Incites的统计结果,CHEMISTRY, ANALYTICAL主题领域2018年共包含期刊141种,其中Article论文28 431篇,Review论文1 500篇。SPECTROSCOPY主题领域2018年共有81种期刊,其中Article论文6 899篇,Review论文218篇。
4.1.2 评价指标
(1)CNCI
学科规范化引文影响力(Category Normalized Citation Impact,简称CNCI)指一篇论文的实际被引频次与同一文献类型、同一出版年、同一学科领域文献的期望被引次数之间的比值,计算公式为:
其中,C指的是目标论文的被引频次;eftd也就是学科期望引文数(Category Expected Citations,CEC),指的是同一学科、同一出版年份、同一文献类型论文的平均被引频次。f指的是学科领域,t指的是出版年份,d指的是文献类型。
对于复分到多个学科领域的论文,单篇论文的CNCI在Incites中则表示为每个学科领域实际被引频次与学科期望引文数的平均比率:
其中,n指的是目标论文复分的学科领域个数。
对于一组论文的CNCI,则是每篇论文CNCI的平均值:
其中,p指的是一组论文的数量[15] 。
(2)JCI
学科规范化的期刊引文影响力指标,期刊引文指标(Journal Citation Indicator,简称JCI),是指某期刊前三年出版的所有Articles和Reviews的平均CNCI,这是一个可对在同领域、同年度、同类型文章的引文影响力进行比较的指标。例如,2020年的JCI包含的论文范围是2017-2019年的所有Article和Review,而被引频次的计算范围则是2017-2020年的引文,包含A&HCI和ESCI期刊[22] 。
4.2 数据结论
因为调整了23篇论文的文献类型,将会出现以下几个变化,(1)最直接的是两个主题领域下分别包含的Article和Review论文数量发生了变化;(2)然后是各个主题的类别预期被引频次会发生改变;(3)需要从与Article的类别预期被引频次进行比较改变为与Review的类别预期被引频次进行比较,(4)最后,论文的CNCI将会发生变化。为了更好展示变化差异,表3分别展示了这23篇论文文献类型修改前后分别在“CHEMISTRY, ANALYTICAL”和SPECTROSCOPY两个主题领域下的CNCI值。
表3 两个主题领域中Annual Review of Analytical Chemistry的论文CNCI变化
序号 | 被引频次 | CHEMISTRY, ANALYTICAL | SPECTROSCOPY | ||
---|---|---|---|---|---|
修改前的CNCI(对比Article的CEC=13.25) | 修改后的CNCI(对比Review的CEC=36.30) | 修改前的CNCI(对比Article的CEC=7.01) | 修改后的CNCI(对比Review的CEC=24.95) | ||
1 | 99 | 7.47 | 2.73 | 14.12 | 3.97 |
2 | 91 | 6.87 | 2.51 | 12.98 | 3.65 |
3 | 72 | 5.44 | 1.98 | 10.27 | 2.89 |
4 | 52 | 3.93 | 1.43 | 7.42 | 2.08 |
5 | 49 | 3.70 | 1.35 | 6.99 | 1.96 |
6 | 44 | 3.32 | 1.21 | 6.28 | 1.76 |
7 | 35 | 2.64 | 0.96 | 4.99 | 1.40 |
8 | 34 | 2.57 | 0.94 | 4.85 | 1.36 |
9 | 33 | 2.49 | 0.91 | 4.71 | 1.32 |
10 | 33 | 2.49 | 0.91 | 4.71 | 1.32 |
11 | 24 | 1.81 | 0.66 | 3.42 | 0.96 |
12 | 24 | 1.81 | 0.66 | 3.42 | 0.96 |
13 | 22 | 1.66 | 0.61 | 3.14 | 0.88 |
14 | 14 | 1.06 | 0.39 | 2.00 | 0.56 |
15 | 14 | 1.06 | 0.39 | 2.00 | 0.56 |
16 | 11 | 0.83 | 0.30 | 1.57 | 0.44 |
17 | 10 | 0.75 | 0.28 | 1.43 | 0.40 |
18 | 8 | 0.60 | 0.22 | 1.14 | 0.32 |
19 | 8 | 0.60 | 0.22 | 1.14 | 0.32 |
20 | 4 | 0.30 | 0.11 | 0.57 | 0.16 |
21 | 3 | 0.23 | 0.08 | 0.43 | 0.12 |
22 | 2 | 0.15 | 0.06 | 0.29 | 0.08 |
23 | 1 | 0.08 | 0.03 | 0.14 | 0.04 |
平均 | 29.87 | 2.25 | 0.82 | 4.26 | 1.20 |
通过对表3中单篇论文CNCI变化的对比,可以发现论文文献类型标签的调整对论文CNCI的影响非常大。对于这23篇论文来说,其CNCI在两个主题领域中变化的平均幅度分别达到了63.4%和71.9%。而这个变化主要是由于不同文献类型的CEC差异造成的。比如,在“CHEMISTRY, ANALYTICAL”领域,在调整前这23篇文章属于Article,该类型的CEC为13.25,而在调整后这些文章属于Review,该类型论文的CEC则达到了36.30,相差2.74倍;类似地,在SPECTROSCOPY差异达到3.56倍。根据CNCI的计算公式可知,不同文献类型CEC的巨大差异,最终导致了文献类型调整前后的CNCI的巨大变化。文献类型的调整除了影响这些论文外,还会影响领域的CEC,进而影响其他论文的CNCI。比如“CHEMISTRY, ANALYTICAL”主题领域Article的CEC从13.25降为13.23,而Review的CEC从36.40降为36.30,Article论文的CNCI变化幅度为0.08%~0.15%,Review论文的CNCI变化幅度则集中在0.22%~0.28%;在“SPECTROSCOPY”主题领域,Article的CEC从7.01降为6.94,Review的CEC从24.43升为24.95,Article论文的CNCI变化幅度为1.09%~1.12%,Review论文的CNCI变化幅度则集中于2.07%~2.11%。由于调整文献类型的论文数量较少,对其他论文的影响相对较小,但整体而言Review论文CNCI的变化大于Article论文,小体量主题领域中论文CNCI的变化大于大体量主题领域。
论文的CNCI调整会进一步影响期刊的影响力指标。比如期刊JCI,当某本期刊的JCI数值为1.0时,表示该期刊论文被引用的次数等于该学科类别中的平均引用数,即1.0代表的是全球平均水平,当期刊JCI高于1.0的时候,表明该期刊超过平均引用水平,当期刊JCI低于1.0的时候,表明该期刊未达到平均引用水平。对于期刊Annual Review of Analytical Chemistry,其JCI从3.26降为1.01,就意味着从远超领域平均水平的期刊变为平均水平的期刊。
5 总结与讨论
本研究系统对比了159本Review期刊发表的Review论文在Web of Science和Scopus数据库中的标签差异,并以典型期刊为例,分析了标签调整对科研评价结果的影响。通过分析我们发现不同出版商的Review系列期刊和不同类型Review期刊在不同数据库中的文献类型标注准确率存在差异,而且这种差异会影响依据文献类型进行归一化的指标的结果,从而无法有效消除不同文献类型对科研评价结果的影响。
具体来说,得出如下结论和思考:Review标签的精准性可能对科研评价结果造成较大影响。
CNCI指标是科学计量评价中常见的归一化指标。从本研究中该指标在典型期刊的差异得分可以看出,Review标签修正前后的得分发生了较大的变化,反映出对评价结果有较大影响。由于本研究时间有限,未测试更多科学计量评价指标的差异,但以此类推,Review标签的精准性可能对评价结果造成较大影响。对于Review标签有误的期刊,标签有误论文的数量占本期刊总量的比重越高,对本刊的影响越大;占所在领域论文总量的比重越大,对领域的期刊论文影响越大。因此,在计算基于文献类型进行归一化的评价指标时,尽可能测度Review标签的精准性,数据量小时需尽可能做到逐条核实,数据量越大对测度精准性的要求会越低。
针对Review标签的标注问题和评价应用,我们提出以下发展建议。
(1)形成Review论文的内涵界定规范,统一不同数据库商间的标注原则。
造成数据库商与期刊在Review论文标注上产生差异的主要原因是标注规则不同。参考文献的数量是数据库商自动标注的考虑因素之一。Web of Science的期刊引证报告(Journal Citation Reports)曾经将Review定义为:任何包含100条以上参考文献的论文。不过,这一规则随着参考文献平均数量的不断增加,产生的误判率越来越高,因而在2010年被Web of Science删除。目前,Web of Science将研究或临床期刊的“Review”栏目或者论文标题中包含“Review”或“Overreview”的论文判定为Review论文[23]。Scopus的判断规则大体包括两个方面,一是参考文献数量,二是文章的结构。因此,需要不断借助对Review标签有误论文的分析,总结规律,通过不断拆解分析维度来进一步细化标注规则,比如不同出版商的系列期刊、不同类型Review期刊等,从而提升数据库中Review标注规则的精准性。
(2)形成纯Review期刊的统一标注规则,改进出版商现行标注规则。
纯Review期刊是Review论文的来源主体。本研究通过对比发现,这类期刊论文的数据库标签差异远远高于其他Review论文。这与笔者初始的研究假设有所不同,因此,笔者就纯Review期刊载文类型的多样性向期刊社咨询,并得到了期刊社答复:本研究样本期刊中纯Review期刊不刊载其他类型的文献。因此,本研究认为,对于纯Review期刊,直接将全部论文判断为Review会更为可靠,可以直接增加到标注规则中。至于纯Review期刊的名单则需要和出版商进行全面核实,而且为了体现期刊发展策略的变化,数据库商也要定期同出版商沟通以便同步最新的Review期刊列表。
(3)借助人工智能文本分析加强对不同文献类型内涵描述和揭示,改进自动标引效果。
Web of Science和Scopus是科学计量评价最为常用的数据,两大数据库在界定Review时,采用了相应的自动标引或判断标准。从标注结果看,两大数据库存在显著差异。造成差异的原因除了判断规则之外,还有文献类型内涵体系的差异。例如Web of Science的文献类型总计42种,Scopus为13种,体系的不同必然造成内涵界定的差异。为了降低误判的概率,需要在不断优化或统一文献类型的基础上,加强对各文献类型内涵的研究,为提高自动标引的精准性提供理论依据。然后可以借助人工智能的文本分析技术,利用本文的数据集对Review的标注规则进行语义学习,形成对Review更为丰富的判断模型。
(4)优化学科归一化方法,发展和使用更具鲁棒性的指标。
本文在计算学科归一化的期刊引文影响力指标CNCI时,选取Annual Review of Analytical Chemistry期刊2018年发表的论文作为典型案例,就是为了更清晰了解论文文献类型改变对论文CNCI指标的影响。为了提升指标的鲁棒性,后续可以有两个方向:①后续关于期刊层面文献类型归一化指标的深入对比分析中将进一步增加期刊数量、学科领域数量和期刊出版年份,计算3年平均CNCI,减少单年CNCI上下波动带来的影响,使得期刊JCI趋于相对稳定;②分析CNCI计算公式可以发现,无论是类别预期被引频次,还是学科CNCI、批量论文的CNCI都是通过计算均值得到的,采用的是王冠指数(Crown Indicator)的计算方法,可以通过采用新的王冠指数(Mean Normalized Citation Score,MNCS)方法,解决王冠指数对引用期望值较高的子学科给予更高权重的问题,在处理不同学科领域、不同文献类型、不同出版年份上具有更可靠的理论基础,且具有一致性。
除了提高数据库文献类型标注的准确性外,还应进一步发展和使用更具鲁棒性的指标。通过本文针对Annual Review of Analytical Chemistry等期刊的分析我们可以看到,文献类型的调整使得期刊的JCI值降为不足原来的三分之一,从远超领域平均水平变为略高于领域平均水平。通过分析JCI的计算公式可以看到,JCI值极易受到单篇论文的CNCI的影响,当论文的被引频次比较高、不同文献类型的期望篇均被引差异比较大时,这种影响会被进一步放大。在数据标签无法达到完全准确的情况下,我们应该发展和使用更具鲁棒性的指标,例如CSI[24]等,避免标签误差对评价结果的颠覆性影响。
参考文献
Some data on the distribution of journal publication types in the science citation index database
[J].
So you wanted more review articles-ISI's new Index to Scientific Reviews (ISR) will help you find them
Reviewing review literature. Part 2. The place of reviews in the scientific literature
Studying review articles in scientometrics and beyond: a research agenda
[J].
Increase in numbers and proportions of review articles in Tropical Medicine, Infectious Diseases, and oncology
[J].
The percentage of reviews in research output: a simple measure of research esteem
[J].
期刊数据库中文献类型的划分与比较
[J].目的 学术论文作为学术研究的书面描述和文本展现,相继出现了多种不同的类型。研究Web of Science和Scopus数据库与Nature 3种文献分类体系之间的区别与联系,以加深人们对不同文献类型的理解,促进科技评价更加合理。方法 统计2008—2017年Nature刊载论文在Web of Science、Scopus与Nature中分别对应的文献类型,对3种文献类型进行比较分析,并将结果可视化。结果 同一数据集在Web of Science、Scopus和Nature中分别对应不同的文献分类,且文献类型种类也不尽相同。Article、Letter、Editorial、Review等类型在3种文献分类体系下均存在,但其含义却不甚相同。 结论 科研评价时,要考虑数据库与期刊的文献类型差异,对单篇论文、期刊、机构等进行更合理的计量与评价。
Document type assignment accuracy in the journal citation index data of Web of Science
[J].
文献类型对学术期刊影响因子的贡献度评价研究
[J].【目的】探讨不同类型文献对期刊影响因子的作用,为科学评价学术期刊质量和影响力提供参考。【方法】以3种代表性的国际顶级期刊Physical Review Letters, Chemical Reviews和Energy & Environmental Science为例,通过查询Web of Science数据库的相关数据,分别计算和分析了综述性文献和研究性文献对期刊影响因子的总体贡献度与平均贡献度。【结果】总体贡献度与平均贡献度可以分别从总体上及平均上来评价不同类型文献对影响因子的作用。【结论】这两种贡献度评价方法的有机结合可有效地评估不同类型文献对影响因子的影响,有利于建立更为公正和合理的期刊评价体系。
2005—2015年SCIE收录中国学术期刊的主要指标变化分析
[J].【目的】评价近10年我国SCIE收录期刊主要指标变化,在此基础上提出一些改进建议。【方法】以JCR为依据,统计分析2005—2015年我国SCIE收录期刊种类、IF、学科分布、载文量、被引量<sub>IF</sub>和CNCI等主要指标变化。【结果】我国SCIE收录期刊新增约100种、涉及学科增加约50个,IF、被引量<sub>IF</sub>、CNCI等指标明显提高。但是,我国SCIE期刊仍存在学科空白,各学科期刊种数偏少,优势学科Q1和Q2区期刊屈指可数,论文质量有待提高。【结论】我国期刊可以从填补学科空白,打造优势学科高影响力期刊;组约优秀稿件,重视高被引论文;定位与国际接轨,发展与时俱进;加强自主发展能力等方面提高影响力。
开放获取对论文影响力的作用分析
[J].【目的】以4个学科SCI论文为例,分析开放获取(OA)对期刊论文影响力的作用,以期对我国期刊OA发展提供启示。【方法】利用InCites数据库研究2010—2014年整合替代医学学科Top20高发文国家/地区、机构的OA论文与全部论文的被引率和CNCI的差异,并比较该学科OA期刊和非OA期刊的指标差异;利用Web of Science数据库比较整合替代医学、农学、细胞组织工程学和行为学4个学科OA论文与非OA及全部论文影响力的差异。【结果】整合替代医学在高发文国家/地区、高发文机构及高发文期刊等不同层面,OA论文整体上低于全部论文的影响力;在4个学科,2010—2014年OA论文整体上低于非OA论文和全部论文的影响力。【结论】当开放获取成为出版常态后,科技期刊之间的竞争核心仍然是论文质量,仅依靠OA并不能有效提升期刊论文的影响力。
/
〈 | 〉 |