[READNOTE]

Quantifying scientific breakthroughs by a novel disruption indicator based on knowledge entities

💡 MetaData

Title	Quantifying scientific breakthroughs by a novel disruption indicator based on knowledge entities
Journal	Journal of the Association for Information Science and Technology
Authors	Shiyun Wang; Yaxue Ma; Jin Mao; Yun Bai; Zhentao Liang; Gang Li
Pub. date	2023
DOI	10.1002/asi.24719
JINFO	_eprint: https://onlinelibrary.wiley.com/doi/pdf/10.1002/asi.24719 JCR分区: Q3 中科院分区升级版: 管理学3区 影响因子: 3.28 5年影响因子: 3.697 EI: 是

**Abstract

**Compared to previous studies that generally detect scientific breakthroughs based on citation patterns, this article proposes a knowledge entity-based disruption indicator by quantifying the change of knowledge directly created and inspired by scientific breakthroughs to their evolutionary trajectories. Two groups of analytic units, including MeSH terms and their co-occurrences, are employed independently by the indicator to measure the change of knowledge. The effectiveness of the proposed indicators was evaluated against the four datasets of scientific breakthroughs derived from four recognition trials. In terms of identifying scientific breakthroughs, the proposed disruption indicator based on MeSH co-occurrences outperforms that based on MeSH terms and three earlier citation-based disruption indicators. It is also shown that in our indicator, measuring the change of knowledge inspired by the focal paper in its evolutionary trajectory is a larger contributor than measuring the change created by the focal paper. Our study not only offers empirical insights into conceptual understanding of scientific breakthroughs but also provides practical disruption indicator for scientists and science management agencies searching for valuable research.

---

📜 研究概况

问题：

度量科学突破程度

现状：

• 对科学突破尚无明确界定

  本文研究述评：科学突破是 [comment]

  • 创新发现
  • 对科学的知识系统带来原创性贡献
  • 对后续研究有重要影响
  • 导致现有研究流向重定向到新的前沿

• 识别突破的两个角度

  • 引文
  • 文本

路径：

• 构建FP的参考文献、施引文献引用网络，结合引用模式和知识元素定义一个颠覆性指数
• 在PubMed/MeSH上验证颠覆性指数有效性（四个测试数据集辨别是否颠覆，对比其他颠覆性指标）

贡献：

• 新视角细粒度探测科学突破
• 建立四个关于科学突破的“金标准”验证数据集

---

📊 研究细节

• 根据引文网络中的CD指数提出mED：

  • EDs：度量FP给当前知识流带来的直接变化
  • EDp,t：度量FP在扩散中如何影响知识关注焦点（FP的引文和参考文献的知识异质性）
  • m：归一化引用数
  • 实验中分mED(ent) 和 mED(rel)，知识单元分别为MeSH词和MeSH共现对

• 数据集：

  • 计算：Liang2021Pubmed数据集，论文#6112372(1991-2014)；
  • 验证突破数据集：其中的312突破论文，268获奖论文，6128高被引，2002同行评议

• 验证方法：

  • 突破性排序质量分析
  • 额外特征对照分析：每个论文抽样出5篇引用次数、合著者数量相近的论文，判断排序质量（AUC）
  • 回归：mED-二元颠覆

• 结果：

  • mED(rel)的排序能力最好（把更多的实际颠覆论文排到指数靠前位置）
  • 准确率低于0.7；AUC中大多数数据集上mED(rel)的效果最好；突破组论文AUC低于对照组大多数突破论文的分数比对照组显著高
  • 回归结果：mED(rel)与是否突破显著相关
  • 例外数据集：获奖论文。作者认为或许获奖论文并不一定是颠覆的

• 验证：

  • 通过调整权重大小，研究mED两部分的作用，发现EDp贡献更大；EDs（FP直接影响）有微小作用
  • 加权参数m显著提高了mED性能。说明引用量会影响颠覆性测度

🚩 主要结论

• [comment]

  认可为“科学突破”的论文，不仅包括颠覆性的论文，还包括渐进式研究

• MeSH组合比单独MeSH作为知识元的效果更好；知识重组理论

📌 创新启示

将引用和细粒度知识元组合

---

🔬 展望思考

科技计量评价研究中的普遍挑战：ground-truth的缺失

---

📜 原文摘录

• [comment]

  引用次数不能展现科学突破的知识基础和结构

• [comment]

  科学突破程度由其所带来的对现有知识系统的改变所决定

• [comment]

  研究越具有颠覆性，对已有研究路径的变革就越大，从而更有可能开创新的研究方向

• [comment]

  本文MeSH作为知识元。但MeSH标引及其结构存在一些准确性/演进问题，可能对结果准确度有一些影响。

• [comment]

  科学上的突破在实践中是异质的

*