毕业论文
您现在的位置: 语言识别 >> 语言识别市场 >> 正文 >> 正文

人工智能难点之自然语言处理NLP

来源:语言识别 时间:2022/8/17

如果单从NLP缩写包含很多方面:

有数学的非线性规划(Non-linearprogramming)医学的无光感(Nolightperception)心理学的神经语音规划(Neuro-linguisticprogramming)计算机科学与语言学转换的领域(naturallanguageprocessing)

这里指的是计算机科学与语言学转换的领域。(NLP)是人工智能和语言学领域的分支学科。(人工智能主要包含以下几个方面:自动推理-计算语言学-计算机视觉-进化计算-专家系统-自然语言处理-机器人学)自然语言处理(NLP)是信息时代最重要的技术之一。理解复杂的语言也是人工智能的重要组成部分。NLP的应用无处不在,因为人们用语言进行大部分沟通:网络搜索,广告,电子邮件,客户服务,语言翻译,发布学报告等等。NLP应用背后有大量的基础任务和机器学习模型。

什么是自然语言处理

NLP是计算机以一种聪明而有用的方式分析,理解和从人类语言中获取意义的一种方式。通过利用NLP,开发者可以组织和构建知识来执行自动摘要,翻译,命名实体识别,关系提取,情感分析,语音识别和话题分割等任务。

自然语言处理如何工作

目前NLP的方法是基于深度学习,这是一种AI,它检查和使用数据中的模式来改善程序的理解。深度学习模型需要大量的标记数据来训练和识别相关的相关性,汇集这种大数据集是当前NLP的主要障碍之一。早期的NLP方法涉及更基于规则的方法,在这种方法中,简单的机器学习算法被告知要在文本中查找哪些单词和短语,并在这些短语出现时给出特定的响应。但深度学习是一个更灵活,直观的方法,在这个方法中,算法学会从许多例子中识别说话者的意图,就像孩子如何学习人类语言一样。

自然语言应用

NLP算法通常基于机器学习算法。NLP可以依靠机器学习来自动学习这些规则,而不是手工编码大量的规则集,通过分析一系列的例子(如,一个大的数据库,像一本书,直到一堆句子的集合),并且做一个静态的推论。一般来说,分析的数据越多,模型越精确。社交媒体分析是NLP使用的一个很好的例子。品牌在线跟踪对话以了解客户的意见,并洞悉用户行为。

开源的NLP库

ApacheOpenNLP:一种机器学习工具包,提供标记器,句子分段,词性标注,命名实体提取,分块,解析,共参考解析等等。自然语言工具包(NLTK):提供用于处理文本,分类,标记化,词法分析,标记,解析等模块的Python库。斯坦福的NLP:一套NLP工具,提供词性标注,命名实体识别器,共识解析系统,情感分析等等。

视频资料查找

斯坦福大学NLP-DanJurafsky&ChrisManning教授自然语言处理-密歇根大学(IITBombay计算机科学与工程系PushpakBhattacharyya教授的自然语言处理)自然语言理解:基础和艺术西蒙斯学院自然语言处理导论-剑桥编码学院

处理的主要范畴

文本朗读(Texttospeech)/语音合成(Speechsynthesis)语音识别(Speechrecognition)中文自动分词(Chinesewordsegmentation)词性标注(Part-of-speechtagging)句法分析(Parsing)自然语言生成(Naturallanguagegeneration)文本分类(Textcategorization)信息检索(Informationretrieval)信息抽取(Informationextraction)文字校对(Text-proofing)问答系统(Questionanswering)机器翻译(Machinetranslation)自动摘要(Automaticsummarization)文字蕴涵(Textualentailment)

使用NLP构建您自己的RSS阅读器

可以使用以下算法在30分钟内构建机器学习RSS阅读器:

ScrapeRSS从RSS提要中获取标题和内容;Html2Text保留重要的文本,但从文档中去除所有的HTML;AutoTag使用潜在的Dirichlet分配来识别文本中的相关关键字;情感分析然后用来确定文章是积极的,消极的还是中立的;Summarizer终于被用来识别关键句子。

本文参考资料

WikipediaTheStanfordNLPGroupCourseraMattKiserMargaretRouse

转载请注明:http://www.0431gb208.com/sjszlff/1272.html