观宇宙之博大 察万物之精微

反映世界科学发展态势的学术期刊

科学观察, 2021, 16(2): 45-56 doi: 10.15978/j.cnki.1673-5668.202102003

专利分析

机器学习全球专利计量分析

吕璐成, 张博, 王燕鹏, 赵亚娟,*, 钱力, 厉曈曈

中国科学院文献情报中心 北京 100190

Global Patent Analysis of Machine Learning

Lyu Lucheng, Zhang Bo, Wang Yanpeng, Zhao Yajuan,*, Qian Li, Li Tongtong

National Science Library, Chinese Academy of Sciences, Bejing 100190, China

通讯作者: E-mail: zhaoyj@mail.las.ac.cn

基金资助: 本文系“2019年产业技术基础公共服务平台项目—面向人工智能基础技术及应用的检验检测基础服务平台建设” .  2019-00893-1-1

Corresponding authors: E-mail: zhaoyj@mail.las.ac.cn

Online: 2021-04-15

摘要

机器学习技术是当前人工智能领域受关注度最高的技术之一。该文面向揭示机器学习技术布局现状和竞争格局的目标,基于全球范围内2000年以来布局的机器学习专利数据,从整体技术和典型分支技术两个层面,从专利申请趋势、有效专利持有、近3年专利布局以及四方专利布局等角度,对机器学习技术的专利布局进行分析。研究发现:全球机器学习技术专利申请整体呈现增长态势。我国的机器学习专利申请已经建立一定优势,但是专利布局主要围绕本国保护,在海外专利布局方面距离美国、日本、韩国等国家还有一定差距。

关键词: 机器学习 ; 专利分析 ; 专利布局态势 ; 人工智能

Abstract

Machine learning is one of the technologies in the field of artificial intelligence that draws the most attention. In order to reveal the competition situation of machine learning technology, based on the global machine learning patent data since 2000, this paper carries out the research from two aspects of overall technology and typical branch technology, and the analysis dimensions include patent application trend analysis, the analysis of patents with valid legal status, the analysis of patent applications in the past three years, quadrilateral patent analysis and so on. The results show that: the global patent application of machine learning technology is on the rise as a whole; China's machine learning patent application has some advantages, but the patent application mainly focuses on domestic protection; there is still a gap between China and the United States, Japan and South Korea in terms of overseas patent application.

Keywords: machine learning ; patent analysis ; patent portfolio ; artificial intelligence

PDF (1647KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文 推荐给朋友

本文引用格式

吕璐成, 张博, 王燕鹏, 赵亚娟, 钱力, 厉曈曈. 机器学习全球专利计量分析 [J]. 科学观察, 2021, 16(2): 45-56 doi:10.15978/j.cnki.1673-5668.202102003

Lyu Lucheng, Zhang Bo, Wang Yanpeng, Zhao Yajuan, Qian Li, Li Tongtong Global Patent Analysis of Machine Learning[J]. SCIENCE FOCUS, 2021, 16(2): 45-56 doi:10.15978/j.cnki.1673-5668.202102003

1 引言

机器学习(Machine Learning,常简称为ML)是人工智能的核心研究领域之一[1]。在过去20余年中,随着人类收集、存储、传输、处理数据能力的提升,亟需能够有效对数据进行分析利用的计算机算法,机器学习恰好响应了这个迫切需求,从而受到了广泛关注[2]。机器学习的目标是开发一种能够通过积累的经验“学习”的计算方法[3],涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科知识,已经在多媒体、图形学、网络通信等学科领域以及“生物信息学”等交叉学科中深度应用。

机器学习概念的提出已有较长历史,早在1950年图灵在关于图灵测试的文章中便有提及,随后在1956年,IBM的Arthur Samuel通过一款可以学习棋子走位并不断提高自身下棋技巧的西洋跳棋程序推翻了以往“机器无法超越人类、不能像人一样写代码和学习”的传统认识,正式提出了“机器学习”概念,即“机器学习是在不直接针对问题进行编程的情况下,赋予计算机学习能力的一个研究领域”。之后,随着技术的发展和学科的交叉,关于机器学习概念的修正讨论一直未断。时至今日,学术界对于机器学习尚无统一定义,普遍认为,机器学习处理系统和算法主要是通过找出数据里隐藏的模式进而做出预测的识别模式[4]

当前,机器学习技术已经在各行各业受到关注并得到广泛应用[5,6,7],在此背景下,客观揭示机器学习技术的发展态势和创新格局,了解各国围绕机器学习的技术布局差异,对于开展机器学习技术研发、指引宏观决策具有现实意义。专利文献是技术创新成果的重要载体,能够有效反映技术研发的进展和趋势。因此,本文从专利分析的角度出发对机器学习技术开展分析,以期较为客观地呈现全球机器学习的技术布局现状和竞争格局。

2 数据及方法

2.1 技术分解和数据获取策略

随着技术的发展迭代,机器学习技术已经产生了诸多子技术和算法,分类角度也多种多样。为了更细致地揭示技术发展情况,本文参考世界知识产权组织发布的机器学习技术分解体系[8]对机器学习技术进行了技术分解(如表 1所示)。该技术分解体系有如下问题需要说明:虽然深度学习本身也是一种神经网络技术[9],但是由于近年来受到高度关注[10],因此单独进行分析;此外,当前包括神经网络、深度学习、强化学习、支持向量机等在内的很多技术均是有监督学习的人工智能算法[2,11],但是本文对这些技术分支均专门进行了分析,因此有监督学习技术类别仅包括了明确提到有监督学习以及排序学习、代价敏感学习等其他学习方法的技术要素。基于该技术分解表,本文对于每个技术分支单独拟定了检索策略,以此来检索并获取数据。

本文所采用的专利数据来自incoPat专利数据库,数据范围为全球范围内优先权年在2000年及其之后布局的发明专利和实用新型专利,检索日期为2020年6月5日,最终通过简单同族合并后共获得专利312 254项。

2.2 研究方法

本研究基于专利计量分析方法,围绕通过检索获取的312 254项全球机器学习专利,从机器学习整体技术及其典型分支技术两个层面开展分析。如图 1所示,主要分析维度包括专利布局整体态势、技术优势国家专利申请分析、技术优势机构专利申请分析、法律状态有效专利分析、近三年申请专利分析1(1 本文的近三年专利是指在2017年、2018年、2019年向专利管理部门提交的专利申请。)和四方专利2(2 本文的“四方专利”指同时在中国国家知识产权局、欧洲专利局、日本特许厅、美国专利与商标局提交专利申请的发明创造。)分析,力求较为全面地展示机器学习技术目前的专利布局态势和创新格局。本文采用Excel、Python等工具软件进行可视化展示,从而直观展示分析结果。

图 1

图 1   专利计量分析维度


3 机器学习技术整体专利分析

3.1 专利布局整体态势

图 2展示了全球机器学习技术的专利布局年度趋势、技术布局优势国家和技术布局优势机构。

图2

图2   机器学习专利布局整体态势


可以发现,自2000年以来,全球机器学习技术的专利布局呈现先平稳增长、后爆发式增长的趋势。2010年之前年度专利布局数量在3 000项至6 000项之间,2010年之后,增长幅度显著提升,尤其在2016年之后,年度增长量均在1万项以上。由于专利从申请到公开有一定时滞,2019年的数据可能略小于实际数据,但是也能反映出机器学习技术专利布局的活跃程度。

中国在机器学习方面的专利布局数量居全球首位,且较第2名的美国具有显著优势,2000–2019年的专利布局数量达14万余项。美国位列第2,布局67 763项,日本和韩国分别排在第3和第4位,布局数量分别为21 102项和14 169项。其他国家的专利布局数量均在1万项以下。

表1   机器学习技术分解表

技术 技术分支 技术要素
机器学习 机器学习(通用) 机器学习、特征选择、随机梯度下降、过拟合、测试集、训练集、验证集、数据集、目标函数
神经网络 神经网络、多层感知机、多层感知器、感知机模型、感知器模型、单层感知机、单层感知器、后向传播
深度学习 深度学习、卷积神经网络、循环神经网络、GRU、LSTM、Word2vec、词嵌入、注意力机制
生物启发式学习 生物启发式算法、生成模型、人工生命模型、演化硬件、遗传算法、遗传编程等
分类和回归树 分类模型、分类树、回归树、决策树、随机森林、梯度树、GBDT、梯度提升树
基于实例学习 基于实例学习、基于记忆学习、懒惰学习、k-nn、k-nearest
潜在表示 潜在表示、置信网络、狄利克雷分布
逻辑和关系学习 逻辑学习、关系学习、归纳逻辑
多任务学习 多任务学习、终生学习、协变量偏移
概率图模型 概率图模型、最大似然模型、最大熵模型、最大后验概率模型、混合模型、隐变量模型、贝叶斯网络、条件随机场、隐马尔科夫模型
强化学习 强化学习、学徒学习、对抗学习
规则学习 规则学习
有监督学习 监督学习、排序学习、代价敏感学习、逻辑回归、半监督学习、结构化输出、半监督训练
支持向量机 支持向量机、SVM
无监督学习 聚类分析、混合建模、主题建模、盲源分离、motif发现、降维、流形学习、无监督学习、无监督训练

新窗口打开| 下载CSV


从机构层面看,美国IBM公司的专利布局数量位居全球首位,共布局5 959项,其次是中国国家电网公司和中国科学院。在专利布局数量排名前10位的机构中,有5家来自中国,分别是国家电网公司、中国科学院、中国平安、浙江大学和西安电子科技大学,3家来自美国,分别是IBM、微软和谷歌,此外还有德国的西门子公司和韩国的三星公司,分列第5和第6位。从机构类型看,TOP10机构中的国外机构均为企业,我国除企业外,还有1个科研院所和2所大学。

3.2 技术优势国家专利申请趋势分析

进一步对于全球TOP10专利布局国的专利布局年度进行分析,如图3所示。可以发现,TOP10国家围绕机器学习技术的专利布局均呈现增长态势,其中中国的增长幅度最为显著,且保持持续增长态势,2019年布局专利数量达到42 893项。排名第二的美国同样呈现增长态势,但是近年来的增长有放缓之势,2017年和2018年的专利布局数量稳定在8 000项左右,与之类似的还有日本、韩国。除中国外,其他国家在2019年的专利数据均较低,这可能是由于专利申请到公开的时滞造成的。

图3

图3   全球专利布局TOP 10国家/地区专利布局年度分布(单位:项)


3.3 全球优势机构专利申请趋势分析

对于全球TOP10专利布局机构的专利布局年度进行分析,如图4所示。可以发现国外机构的专利布局呈现比较稳定的增长态势,如IBM、微软、西门子等公司均在持续布局机器学习技术的相关专利,且专利增长幅度并不明显;而国内机构的专利布局则主要集中在2012年之后,尤其是中国平安公司特征最为明显,在2018年布局了796项专利,数量较2017年增长了6.5倍,2012年之前仅中国科学院、浙江大学有较为持续稳定的专利布局行为,但是专利数量均在百项以下。

图4

图4   全球专利布局TOP 10机构专利布局年度分布(单位:项)


3.4 有效专利分析

专利具有法律属性,有效专利持有情况能够更有效地反映目标对象当前的技术实力。表2展示了TOP 10技术布局国家的有效专利占比全球排名情况。可以发现,这些国家的专利数量排名和有效专利占比排名存在一定差异。专利布局量排名第4的韩国有效专利占比排名全球第1,专利布局量排名第1的中国有效专利占比排名全球第17,这可能是由于我国在机器学习的较多专利布局启动时间不长,大量专利仍旧处于审查阶段。

表2   TOP 10技术布局国家/地区的有效专利占比排名

国家/地区 专利量/项 专利全球排名 有效专利量/项 有效专利占比 有效专利占比全球排名
韩国 14169 4 6133 43.28% 1
美国 67763 2 26098 38.51% 2
日本 21102 3 7864 37.27% 4
荷兰 2034 10 566 27.83% 9
加拿大 2390 7 585 24.48% 12
德国 8258 5 1866 22.60% 15
中国 144109 1 31350 21.75% 17
法国 2052 9 322 15.69% 20
英国 2960 6 355 11.99% 22
印度 2253 8 113 5.02% 24

新窗口打开| 下载CSV


进一步对TOP10技术布局机构的有效专利占比全球排名情况进行分析,如表3所示。可以发现美国的微软、谷歌和IBM占据了全球有效专利占比排名的前三,而大部分中国公司的有效专利占比排名低于专利数量排名,如专利总量排名第2的国家电网公司,其有效专利占比排名第24,排名第7的中国平安公司的有效专利占比排名第144,而专利总量排名第10的西安电子科技大学的有效专利占比排名则提升到了第5位。

表3   TOP 10技术优势机构的有效专利占比全球排名

机构 专利量/项 专利量全球排名 有效专利量/项 有效专利占比 有效专利占比全球排名
微软 3339 4 1569 46.99% 1
谷歌 2239 8 997 44.53% 2
IBM 5959 1 2349 39.42% 3
西安电子科技大学 1942 10 699 35.99% 5
中国科学院 3717 3 1216 32.71% 11
西门子 2928 5 840 28.69% 13
浙江大学 2107 9 516 24.49% 17
三星 2340 6 521 22.26% 21
国家电网公司 5025 2 1020 20.30% 24
中国平安 2242 7 63 2.81% 144

新窗口打开| 下载CSV


3.5 近三年专利分析

通过对近三年的专利申请情况进行分析,能够识别最新的技术活跃者。图5展示了机器学习技术近三年专利申请的优势国家和机构。可以发现,中国在近三年的专利申请数量上占据绝对优势,共申请专利99 324项,是排名第2的美国的5.2倍。同时,在优势机构方面,中国共有16家公司/科研院所/大学位列近三年专利申请量TOP20名单,包括国家电网公司、中国平安、中国科学院、腾讯、电子科技大学、浙江大学、天津大学、西安电子科技大学、百度、清华大学、华南理工大学、东南大学、广东工业大学、南京邮电大学、阿里巴巴和浙江工业大学,TOP20榜单上只有4家国外公司,包括美国的IBM(排名第3)、微软(排名第16)、谷歌(排名第19)以及韩国的三星(排名第14)。这在一定程度上反映了我国近年来对于机器学习技术的研发和应用的重视程度不断加大。

图5

图5   近三年专利申请优势国家/地区和机构


3.6 四方专利分析

一般从专利权人对技术重视程度的视角考虑,认为“四方专利”更具重要性。因此,以下从四方专利视角分析全球各国、各机构的重要专利布局情况,如图6所示。

图6

图6   四方专利申请优势国家/地区和机构


可以发现,四方专利的布局情况与整体专利布局情况存在差别。专利布局数量排名第3的日本其四方专利布局数量排名第1,而专利总量位居第1的中国其四方专利数量排名第5,这在一定程度上反映了我国机器学习的专利布局主要围绕本国保护。

从机构角度看,四方专利优势机构排名与整体专利布局优势机构和近三年专利布局优势机构排名差别较大。在四方专利TOP20机构中,排在第1位的是来自荷兰的飞利浦公司;其余机构以日本公司居多,包括索尼、松下、日本电气株式会社、欧姆龙株式会社、富士通、佳能、日立、东芝、三菱、丰田及日本电报电话公司(NTT)等共11家;此外,还有来自美国的6家公司,微软、高通、谷歌、IBM、美国通用电气公司和波音公司;中国仅有百度1家公司上榜,排名第13位。这在一定程度反映了我国机构的国际专利布局力度与国外机构的差距。

4 机器学习典型分支技术专利分析

4.1 各技术分支专利布局数量分析

图7展示了机器学习各分支技术的专利布局情况。可以看到,涉及通用机器学习技术的专利布局数量最多。其次是神经网络和深度学习,专利布局数量分别为69 380项和40 080项。由此可知,神经网络和深度学习技术是机器学习技术专利布局的主要技术方向。此外,强化学习、规则学习、基于实例学习、潜在表示、多任务学习、逻辑和关系学习技术的专利布局数量均在3 000项以下,受关注度相对较弱。因此,以下选择神经网络和深度学习作为典型子技术开展进一步的分析。

图7

图7   各技术分支专利布局数量


4.2 典型技术分支各国专利布局及有效专利占比分析

表4表5分别展示了神经网络和深度学习专利的全球TOP10布局优势国家。可以发现,在数量方面,无论是专利总量还是有效专利量,中国在两项技术上均排在全球首位,具有相对较大的专利优势;美国、韩国、日本和德国在两项技术上均分列第2、3、4、5位。从有效专利占比来看,韩国、美国和日本的有效专利占比相对较高,而中国的有效专利占比不像数量指标一样突出,但是考虑到前述“近三年专利分析”部分对于中国专利申请情况的分析可以推断,我国近期申请的机器学习专利很多还处于审查阶段,未来有效专利占比可能具有一定的成长性。

表4   神经网络专利布局优势国家及有效专利占比

排名 国家/地区 专利数量/项 有效专利数量/项 有效专利占比
1 中国 42264 6086 14.40%
2 美国 13597 3669 26.98%
3 韩国 3795 1428 37.63%
4 日本 2970 763 25.69%
5 德国 1466 248 16.92%
6 英国 738 56 7.59%
7 加拿大 589 81 13.75%
8 印度 488 21 4.30%
9 俄罗斯 478 22 4.60%
10 法国 395 31 7.85%

新窗口打开| 下载CSV


表5   深度学习专利布局优势国家及有效专利占比

排名 国家/地区 专利数量/项 有效专利数量/项 有效专利占比
1 中国 28117 3080 10.95%
2 美国 5732 1357 23.67%
3 韩国 2195 890 40.55%
4 日本 993 205 20.64%
5 德国 666 98 14.71%
6 印度 269 6 2.23%
7 加拿大 262 28 10.69%
8 英国 258 19 7.36%
9 意大利 198 2 1.01%
10 法国 187 7 3.74%

新窗口打开| 下载CSV


4.3 典型技术分支优势机构专利及有效专利分析

对神经网络和深度学习技术的全球专利布局量TOP20机构进行分析,如图8所示。可以看到,我国的国家电网公司和中国科学院在两项技术的专利申请量方面均位居前两位。在神经网络技术方面,美国的谷歌和IBM公司、韩国的三星公司分列第3、4、5位;在深度学习技术方面,TOP10专利机构中仅1家国外机构,即排名第8的韩国三星公司,其余均为中国机构,第3至第7位分别是电子科技大学、中国平安、浙江大学、华南理工大学、天津大学,西安电子科技大学和清华大学排名第9和第10。

图8

图8   神经网络和深度学习技术专利布局量TOP20机构


进一步对神经网络和深度学习技术的全球有效专利持有量TOP20机构进行分析,如图9所示。我国机构的有效专利持有量较之整体专利布局量存在一定差距。美国IBM公司的有效专利持有量优势显著,神经网络技术全球排名第一,深度学习技术排名第二。在神经网络技术方面,美国的谷歌公司、微软公司、Adobe公司的有效专利持有量分别排在第2、5、10位,我国的中国科学院、清华大学、国家电网公司、百度、电子科技大学分别排在第3、4、6、7、9位;在深度学习技术方面,我国的科研机构和高校专利布局力度较大,中国科学院有效专利持有量排名首位,数量为171项,西安电子科技大学和清华大学分列第3、第5位,美国的IBM和谷歌公司分别排在第2和第4位。

图9

图9   神经网络和深度学习技术有效专利持有量TOP20机构


4.4 典型技术分支近三年专利分析

对于神经网络和深度学习技术近三年专利申请的国别和机构分布情况进行分析,如图10图11所示。与机器学习技术整体情况保持一致的是,中国这两项技术的近三年专利申请量均居全球首位,且较第2名的美国具有显著优势。在机构布局方面,国内机构近三年的专利申请情况表现抢眼,国家电网公司和中国科学院在两项技术上的专利申请量均排在前两位,尤其是深度学习技术领域,近三年专利申请TOP20机构中,国外机构仅有1家,即排在第9位的韩国三星公司;在神经网络技术领域,国外机构有4家,分别是韩国三星公司和美国IBM、谷歌和英特尔公司,分别排在第4、5、9和15位。

图10

图10   神经网络技术近三年专利申请情况分析


图11

图11   深度学习技术近三年专利申请情况分析


4.5 典型技术分支四方专利分析

图12图13展示了神经网络和深度学习技术的四方专利申请情况。可以发现,四方专利的布局态势与专利总量的布局态势差异较大。神经网络方面,美国、日本和韩国占据国家排名前3位,韩国三星、StradVision公司3(3 StradVision公司位于韩国首尔,专为自动驾驶汽车和高级驾驶员辅助系统(ADAS)提供视觉处理技术。)和美国高通公司占据机构排名前3位,而中国处于国家排名第4位,国内机构中百度公司排名最为靠前,处于机构排名第5位,此外还有北京地平线信息技术有限公司和腾讯公司,并列排名第15位。深度学习方面,日本、美国和德国占据国家排名前3位,德国拜耳、日本住友株式会社、韩国StradVision公司占据机构排名前3位,我国位于国家排名第5位,机构方面仅有百度公司进入TOP20榜单,排名第9位。

图12

图12   神经网络技术四方专利布局情况分析


图13

图13   深度学习技术四方专利布局情况分析


5 结论与分析

本文面向揭示机器学习技术专利布局态势的客观需求,基于全球范围内2000年以来布局的机器学习专利数据,从整体技术和典型分支技术两个层面,从专利申请趋势、有效专利持有情况、近三年专利布局情况以及四方专利布局情况等角度,对机器学习技术的专利布局进行分析,得到如下结论。

(1)全球机器学习技术专利布局整体呈现增长态势,2010年后增长态势明显,尤其在2016年之后,年度增长量均在1万项以上。

(2)我国在机器学习方面的专利布局数量居全球首位,较第2名的美国具有显著优势,且保持持续增长势头;同时,国内机构的专利储备数量已初具规模,尤其近年来专利布局力度显著提升。

(3)从有效专利持有情况看,我国的有效专利持有数量在全球范围内表现不够突出,有效专利占比全球排名第17位,TOP10专利布局优势机构的有效专利占比排名相较专利数量排名下滑较大,这在一定程度上表明我国在机器学习方面的专利布局质量还有待提升。

(4)从近三年专利布局情况看,中国近三年的专利申请占据绝对优势,共申请99 324项,是排名第2的美国的5.2倍;同时,中国机构表现抢眼,共有16家公司/科研院所/大学排在近三年专利申请TOP20名单中。

(5)从四方专利布局情况看,我国的专利布局主要围绕本国保护,四方专利布局量全球排名第5,国内机构仅有百度公司进入四方专利布局TOP20机构榜单,而日本有11家公司上榜。

(6)从分支技术看,除机器学习通用技术外,神经网络和深度学习技术是机器学习技术中专利布局最为密集的分支技术,其次是分类和回归树、无监督学习。

(7)我国在神经网络和深度学习技术的专利布局方面已经建立了一定专利优势,专利布局总量、有效专利数量和近三年专利布局量在全球范围内均具有较大优势,但是,在以四方专利为代表的国际专利布局方面,距离美国、日本、韩国等国家还有一定差距,国际化视野有待进一步拓宽。

参考文献

周志华.

机器学习与数据挖掘

[J]. 中国计算机学会通讯, 2007,3(12):35-44.

[本文引用: 1]

周志华. 机器学习[M]. 北京: 清华大学出版社, 2016.

[本文引用: 2]

Bishop C M. Pattern recognition and machine learning (information science and statistics)[M]. New York: Springer-Verlag, 2006.

[本文引用: 1]

人工智能之机器学习[R].

工智能之机器学习[R]

北京:清华大学人工智能研究院, 2020.

[本文引用: 1]

王卓, 王礞, 雍歧龙 , .

材料信息学及其在材料研究中的应用

[J]. 中国材料进展, 2017,36(2):132-140.

[本文引用: 1]

刘阚蓉, 李丹, 裴梦迪 , .

机器学习算法在网络入侵检测中的应用综述

[J]. 赤峰学院学报(自然科学版), 2018,34(12):50-52.

[本文引用: 1]

陈佳.

机器学习在材料热电性能预测中的应用

[D]. 北京:北京邮电大学, 2019.

[本文引用: 1]

WIPO技术趋势:人工智能[R]

日内瓦:世界知识产权组织. 2019.

[本文引用: 1]

孙志军, 薛磊, 许阳明 , .

深度学习研究综述

[J]. 计算机应用研究, 2012,29(8):2806-2810.

[本文引用: 1]

郭丽丽, 丁世飞.

深度学习研究进展

[J]. 计算机科学, 2015,042(005):28-33.

[本文引用: 1]

Christiano Silva T C, Zhao L. Machine learning in complex networks[M]. Cham: Springer International Publishing, 2016.

[本文引用: 1]

/