自然语言处理,英文NaturalLanguageProcessing,下文简称NLP。
什么是自然语言处理?
自然语言区别于机器语言,指的是人类社会自然产生的语言,例如汉语言,英语等。人类几乎所有的信息都通过自然语言来表达,在智能化的时代,我们需要让机器更懂人类,更能理解人类的表达。所以需要让机器学习自然语言,这就是自然语言处理的目标:建立一套能与人交互,能理解人的系统。本质上来说:自然语言处理是为了建立自然语言到机器语言的映射。
自然语言处理分类
自然语言处理主要包含两部分:自然语言理解(NLU)和自然语言生成(NLG),自然语言理解的目标是理解人类的表达,包括语音表达和文本表达,侧重于理解目标的实现,包括语法分析、文本阅读;NLG则侧重于如何生成自然语言的表达,包括信息简化、翻译系统、问答对话等。两者相辅相成,大部分情况下,两者会同时出现,来构筑某一系统。
自然语言处理的发展历程
年,信息学家香农提出了信息熵这一概念。那时候NLP的概念还没有出现,但由于熵也是NLP概念的基石之一,因此对NLP的诞生有着重大意义。
-年,学者们希望通过模拟人类说话的习惯,用语法规则教授机器进行学习。唯一的进展是乔姆斯基文法规则定义的上下文无关文法规则,后来就再也没有过其他的重大进展。
年以后,NLP转向统计方法,通过隐马尔科夫模型、语言模型等方法,进行研究。
年左右,神经网络被应用于语言模型,构建了,神经语言模型,但由于当时算力不满足条件,所以进展不大。
年至今,自然语言处理借助于深度学习,持续发展至高潮,一度取得了一系列进展,解决了一部分关键性问题。
自然语言处理的主要应用
宏观上来说,自然语言目前的学科分支主要有以下几类:
信息简化,从一套文本中抽取目标信息,简单来说,就是从一段话中,找出来什么时间,谁在哪里,发生了什么事情。聚焦到文本最核心的地方,自动生成核心摘要。问答系统,这也是目前应用很广泛的一个分支,主要可以应用在机器人上,虚拟设备上,用来与用户进行问答对话,例如手机上的Siri,小爱,某些自媒体上的问答程序,还有一些银行机构的问答机器人等。知识图谱,从应用场景中的文本中提取结构化的信息,并将实体间的相互联系可视化出来。知识图谱的构建是为了进行知识检索、知识推理、知识发现,这对于某些专业产业里有着重大意义。机器翻译,目前已经十分成熟,例如:百度翻译,谷歌翻译等文本分类,将得到的文本进行分类,传统的主要依据于关键词,效率低,结果差,自然语言处理的应用将大大提高分类速度。情感分析,对于电商的评论分析、对于电影的评论分析都起到了很大的作用。实战见分晓!自然语言处理的现实应用场景有哪些?
社会科学领域:当前自然语言处理已经应用到社会关系挖掘、社交媒体计算、人文社科计算等,国内外一些著名的社会学科实验室,例如清华大学自然语言处理与社会人文计算实验室、哈尔滨工业大学社会计算与信息检索研究中心,他们均为通过自然语言处理技术来分析国内外的敏感问题、社会问题、以及人际关系问题。金融领域:截至年1月1日,金融市场A股就有多家上市公司,这多家公司每年每月甚至每天都有各种报告出炉,年报、半年报、季度报、月报等等,加上各大媒体金融新闻的推送,金融界每天都在产生海量的文本。因此,金融公司每天都需要持续
转载请注明:http://www.0431gb208.com/sjszjzl/1271.html