上篇《NLP技术有哪些应用场景？在金融领域有什么实际应用？》给大家简要介绍了NLP的基本概念，即指是能够实现人与计算机之间用自然语言有效通信的各种理论和方法。
简单来说，NLP就是机器语言和人类语言之间沟通的桥梁，实现人机交流为目的。
值得留意的是，NLP有2个核心的任务：分别是和。
一、NLU（自然语言理解）
Q1什么是NLU?
NLU是所有支持机器理解文本内容的方法模型或任务的总称，即能够进行常见的文本分类、序列标注、信息抽取等任务。
简单来说，是指自然语言理解的运用希望机器人能够像人一样，具备正常的语言理解能力。
例如，意图识别和实体提取的关键技能。当人类语言中表达“订机票”，可以有多种自然的表达：“看一下去上海的航班；帮我查一下去北京的机票；看看航班，下周二出发去纽约的”等等。
但机器智能处理“结构化的数据”（关键词提炼捕捉信息），需要文字信息中包含有提前设定好的关键词“订机票”，否则系统无法识别语言的含义。
不过，自然语言理解出现后，可以让机器从各种自然语言的表达中区分出哪些话归属于一类，而不再依赖过于死板的关键词。通过训练，机器还能够在句子当中自动提取出目的地或出发时间等。
Q2NLU有什么应用？
常见的有机器翻译、机器客服或智能音响等。
此外，商业银行在数字化转型中，非结构化数据逐渐成为了商业银行支撑业务发展的新引擎。因而，在语音识别（ASR）、光学字符识别（OCR）技术的加持推动下，业务对非结构化文本、语音、图片的内容挖掘需求日益增长，要求也越来越高。通过运用NLP技术即可使银行相关任务实施落地，如财产证明要素提取、智能语音分流、简历分析等，辅助提升银行服务能力，实现降本增效。
例如下图所示，用户通过手机银行上传收入证明、征信报告等待审核材料，通过OCR、NLP关键信息抽取模型服务，精准提取用户上传的财产证明中姓名、收入、资产等关键信息要素，在线实时返回审核结果，秒速告知客户财产证明材料中存在的问题，方便客户自主审核而无需排队等候，从而进一步优化人工成本，降低合规风险，提升业务审批效率。
Q3NLU的实现方式有哪些？
自然语言理解跟整个人工智能的发展历史类似，一共经历了3次迭代：
①基于规则的方法
通过总结规律来判断然语的意图，常的法有：CFG、JSGF等。
②基于统计的方法
随后出现了基于统计学的NLU方式，常见的方法有：SVM、ME等。
③基于深度学习的方法
随着深度学习的爆发，CNN、RNN、LSTM都成为了最新的"统治者"。年，以自注意力机制（Transformer）为基础的BERT和GPT-2的表现震惊了业界，甚至在不少任务上超越了人类水准。
NLU的理解有5大难点：
①语言的多样性
由于自然语言的组合方式十分灵活，字、词、短语、句子、段落等都有不同的组合可以表达出多层含义，例如：
我要听首《xxxx》；放一首《xxxx》；唱一首《xxxx》；播放《xxxx》
②语言的歧义性
当不联系上下文理解语句，缺少文本环境的约束，语言就会产生较大的歧义性，例如：
识别到单句文本
NLU则可能会理解出“需要火车票？需要飞机票？想听音乐？还是想查找景点？”
③语言的鲁棒性
自然语言在输入的过程中，尤其是通过语音识别获得的文本，会存在多字、少字、错字、噪音等问题。例如：
“我想吃面包；我想吃面；我想吃面条”
④语言的知识依赖
语言的本质是对世界的符号化描述，语言天然链接着世界知识，例如：
“7天”——可以表示时间，也可以表示酒店名；“大鸭梨”——除了表示水果，还可以表示餐厅名。
⑤语言的上下文
上下文的概念包括很多种：对话的上下文、设备的上下文、应用的上下文、用户画像等。例如：
U：买张火车票
A：请问你要去哪里？
U：宁夏
U：来首歌听
A：请问你想听什么歌？
U：宁夏
二、NLG（自然语言生成）
Q1什么是NLG?
NLG（自然语言生成）是NLP的另一项核心任务，主要目的是降低人类和机器之间的沟通鸿沟，将非语言格式的数据转换成人类可以理解的语言格式。例如：人类对话智能音响，“现在几点了”，则需要先利用NLU技术判断用户的意图，理解用户的需求是什么。然后再利用NLG技术回复：“现在是早晨8点整”。
通常自然语言生成-NLG有2种方式：
①text-to-text：文本到语言的生成
②data-to-text：数据到语言的生成
NLG的六个步骤：
①内容确定–ContentDetermination
首先，NLG系统需要确定哪些信息应该包含在正在建构的文本中，哪些又不包含。通常数据中包含的信息比最终传达的信息要多。
②文本结构–TextStructuring
确定需要传达的信息后，NLG系统需要合理的组织文本的顺序。例如：在报道一场篮球比赛时，会优先选择表达“比赛时间、地点、球队”等信息，其次再表达“比赛的概况”，最后表达“比赛的结局”。
③句子聚合–SentenceAggregation
不是每一条信息都需要一个独立的句子来表达，将多个信息合并到一个句子里表达可能会更加流畅，也更易于阅读。
④语法化–Lexicalisation
确定好每一句内容后，就需要将这些语言组织成自然语言。这一步hi在各种信息之间加一些连接词，使得内容看起来是一个完整的句子。
⑤参考表达式生成–ReferringExpressionGeneration
REG
此步骤与语法化十分相似，都是选择一些单词和短语来构成一个完整的句子。但其和语法化的本质区别就在于“REG”需要识别出内容的领域，然后使用该领域的词汇。
⑥语言实现–LinguisticRealisation
最后一步，当所有相关的单词和短语已确定后，需要将它们组成一个结构完整的句子。
Q2NLG生成文本方式有哪些？
①简单的数据合并：
简单化形式是指将数据转化为文本（通过类似excel的函数）。以Excel中的信息合并为例，从信息源（例如MSExcel中的表格）中检索出来相关信息，并进行简单的合并输出。
②模板化的NLG
模板化的NLG使用模板驱动模式来显示输出。例如，体育运动比赛的分板，基于输入的自定义关键信息，根据预定的业务规则集（如if/else循环语句）生成语言。
③高级NLG
此形式的自然语言生成就与人类一样，其理解意图会考虑到文本的上下文环境，并将结果呈现给用户一种可以轻松阅读和理解的表述中，一般用于深度学习的encoder-decoder结构来实现。
Q3NLG的应用有什么？
通常典型的应用主要有：自动写新闻（AI编辑新闻）；聊天机器人（Siri或智能音箱）；自动生成报告。
目前，NLG技术可以用低成本快速生成文本内容。比如法律判决书的摘要，原本需要人类通读全文在进行摘要总结，现在可以借助NLG技术自动生成摘要，省时省力。又比如自动生成相似问句，用NLG技术去扩充标注数据实现新业务领域的快速冷启动，从而降低AI训练和运营本身的成本。更进一步，“看图说话”的能力也是NLG技术的一大亮点应用。针对目标图片，NLG技术可以生成相关的图片描述，在电商领域的商品描述生成以及盲人辅助场景具有实际意义。
参考来源：
转载请注明：http://www.0431gb208.com/sjszyzl/7298.html
