什么是自然语言处理(NLP)？工作原理是？发展历程一览

2022-07-07 17:40:08 作者：2200 2879

目前自然语言处理(Natural Language Processing，NLP)已成为机器学习的研究热点之一，本文将介绍自然语言处理的概念、工作原理及发展历程，助您初步了解自然语言处理技术。

自然语言处理

1.自然语言处理

自然语言处理技术是指将人与人之间的交流，人与计算机之间的交流抽象成数学语言模型，通过计算机方法处理这些被抽象化定义的问题。用一句话概括，就是通过自然语言处理，能够让计算机像人一样理解人类世界中的自然语言。

2.自然语言处理技术工作原理

自然语言处理通过机器学习(ML)进行。机器学习系统像其他任何形式的数据一样存储单词及其组合方式。将短语、句子，有时甚至整本书的内容都输入机器学习引擎，并根据语法规则和人们的现实语言习惯(或两者兼而有之)进行处理。然后，计算机使用这些数据来查找模式并推断出下一步的工作。以翻译软件为例：在法语中，“我要去公园”是“Jevaisauparc”，因此机器学习预测“我要去商店”也将以“Jevaisau”开头。

3.自然语言处理技术发展历程

(1)萌芽期

20世纪40年代到20世纪50年代是自然语言处理的萌芽期，在这个时期的三项研究：图灵算法计算模型，乔姆斯基关于形式语言的研究，香农的信息论与编码，为自然语言处理打下了坚实的基础。此后机器翻译在各个国家流行起来，机器翻译中用到的一些技术反过来也促进了自然语言处理的发展。

(2)发展期

20世纪60年代到20世纪80年代是自然语言处理的发展期。

这一时期的主要特点是各个科学领域之间广泛合作，在自然语言处理领域取得令人振奋的成绩。

这一时期的另一个突破进展是 Hidden Markov Model 和 Noisy channel model and decoding model 这些统计学方法在自然语言处理中的应用。自然语言处理方法不再单纯基于语法规则、句子间关系分析以及逻辑分析。

这一时期主流研究倾向于重新评价之前被否定的有限状态模型，这种模型重新被主流学者所重视。此外相关概率模型还被应用于词性标注，句法剖析，语音识别，关联分析。

(3)繁荣期

20世纪90年代初期，NLP领域研究进入了繁荣期。进入这一时期的里程碑是在基于规则的技术中引入语料库方法，通过将语料预处理，变成结构化数据，将其转化为语料知识库，将语料之间的关系转化为知识图谱。这种方法极大地提高机器翻译的准确率。

以上梳理了自然语言处理技术的定义、原理及发展历程，希望对你有所帮助，如果你想了解更多相关内容，敬请关注三个皮匠报告的行业知识栏目。

本文由@2200 发布于三个皮匠报告网站，未经授权禁止转载。