2017年深度学习在自然语言处理中的应用.pdf

1、深度学习在自然语言处理中的应用 ArchSummit 2017?(?)5?内容提纲 简介?自然语处理?深度学习?语义表示学习?词表示?句表示?自然语处理的新范式?应用?(?)6?自然语言处理?(?)7?从人工智能开始 Alan Turing?自然语处理：理解和成?(?)8?什么是自然语言？语是指在个有限的字符集上，产的符合定规则的字符串集合。?自然语通常是指种自然地随化演化的语。?自然语 VS 语?形式语(Chomsky,1950)?区别?自然语：歧义性?语：确定性?(?)9?歧义：以中文分词为例 不同的语环境中的同形异构现象，按照具体语环境的语义进切法。?交叉歧义?他说的确实在理?组合歧义?

2、两个/起/过去、个/问题?从马/上/下来、马上/就/来?句级歧义?白天鹅在里游泳?该研究所获得的成果?伪歧义?(?)10?自然语言处理 自然语处理包括语音识别、自然语理解、自然语成、机交互以及所涉及的中间阶段。?是智能和计算机科学的学科。?自然语言处理不等于研究语言学（计算语言学）、文学。Every time I fire a linguist,the performance of our speech recognition system goes up.-Frederick Jelinek,1985 https:/en.wikiquote.org/wiki/Fred_Jelinek?(?)

3、11?理想中的自然语言处理流程 这是一棵语法树?这 是 一 棵 语法 树?这 是 一 棵 语法 树?代词 动词 数词 量词 名词 动词 这 是 一 棵 语法 树?代词 动词 数词 量词 名词 动词 分词?词性标注?句法分析?语义分析?这,是，语法树 应用 应用 语义分析 机器翻译 自动问答 情感分析 知识库?(?)12?主要任务 自然语处理任务可以分为四类：词法分析、句法分析、语义分析、应用。?(?)13?日常生活的自然语言处理应用 搜索引擎?输法?机器翻译?智能音箱?(?)14?当出错时 民主-?江泽民 主席?(注：早期google的搜索结果)?(?)15?发展历程 1990年以前，基于规则

4、（rule-based）的法?使用写的规则?1990年以后，基于语料库（corpus-based）的法?也叫实证（empirical）法或数据驱动（data-driven）法?量使用统计或机器学习模型?典型应用：The mathematics of statistical machine translation:parameter estimation.1993?2011年以后，基于神经络（neural-based）的法?端到端的神经络模型?典型应用：Sequence to Sequence Learning with Neural Networks,2014?(?)16?基于语料库的方法 语

5、料库:本数据的集合?技术段：?统计模型?机器学习模型?(?)17?实际的自然语言处理流程 我喜欢读书。?分类模型?我讨厌读书。?特征抽取?参数学习?解码算法?模型表示?情感分析?(?)18?文本分类 根据文本内容来判断文本的相应类别+-?(?)19?换个角度看中文分词 000010001000100011001?1/0?(?)20?特征工程问题 在实际应用中，特征往往比分类器更重要?预处理：经过数据的预处理，如去除噪声等。比如在本分类中，去除停用词等。?特征提取：从原始数据中提取些有效的特征。比如在图像分类中，提取边缘、尺度不变特征变换特征等。?特征转换：对特征进定的加，比如降维和升维。降维包

6、括?特征抽取（Feature Extraction）：PCA、LDA?特征选择（Feature Selection）：互信息、TF-IDF?(?)21?深度学习?(?)22?深度学习 深度学习=表示学习+浅层学习?难点：贡献度分配问题?(?)23?表示学习与深度学习 个好的表示学习策略必须具备定的深度?特征重用?指数级的表示能?抽象表示与不变性?抽象表示需要多步的构造?https:/ 深度学习天然不是神经络，但神经络天然是深度学习！?(?)25?语言表示学习?(?)26?语义鸿沟 底层特征 VS 层语义?们对本、图像的理解法从字符串或者图像的底层特征直接获得?床前明月光，疑是地上霜。举头望明月