“在互联网上，没人知道你是一条狗”
网民将目光转移到互联网舆论场上，在马甲的掩饰下畅所欲言，却并很少在意发布内容的质量。在更恶劣的情况下，网络黑产或幕后推手藏匿在背后恶意引导，企图制造混乱与混淆视听。
当前，文本在互联网信息量仍旧占据主导地位，其数量最多，在图片、语音和视频中也存在着文本的身影。通过文本传输的谩骂、暴恐内容，对社会高度危险，引发网络暴力与极端主义风险。
面对内容质量问题，业界转向人工智能“机器学习”，帮助人类提高文本审核效率，并帮助定义需重新评估哪些内容，从而节省大量时间。在对话和翻译应用之外，NLP技术逐渐在审核工作中崭露头角。
自然语言处理(NLP)技术打破了人类与计算机之间的语言理解门槛，使计算机可以理解人类语言，在对话类的“虚拟个人助理”与“翻译机器”中有广泛应用。
林洋港在研究生毕业以后，进入了一个相对小众的领域，即针对有害内容的“文本识别”算法研发，旨在提供一种检测与阻断传播有害内容的方法，快速发现危机情绪与糟糕言论。该项技术在最早主要源于垃圾邮件的拦截需求，而如今已经成为各类线上社交娱乐社区中不可或缺的保障。
从事NLP算法研究工作10年以上，林洋港持续跟踪与服务文本理解与分类，聚焦如何对抗文本中的不良有害内容。随着内容安全检测的需求愈加明显，林洋港指导的NLP算法团队逐渐壮大，发展成多人团队。团队在有害内容变种智能识别、形近字库构建、机器情绪理解等方面的经验颇丰，将复杂晦涩的NLP技术转化为实用的产品化输出。
不少人在网络争论中遭遇过脏话，或生气反击，或自我消化。赛博空间之中高度自由，发泄情绪的谩骂之词不堪入耳。这些话语在未被人类看到之前就被拦截，避免造成心理创伤，那是因为NLP技术在暗中起了作用，为各大平台执行文本审核。
文本审核依据管控建议，检测或识别文本中的有害信息，如关于谩骂的问题、关于暴恐的问题等，以提高定位的准确性，这种问题发现就属于文本审核的范畴。
林洋港谈到，借助通用的自然语言模型，团队让机器“增量”式自我学习，以达到识别的目标效果。主要目标是通过捕获词汇、句法和语义信息，从而将自由文本转换为结构化数据。简单而言可以归纳为几个步骤：
一是，文本预处理，简化和准备文本以供进一步分析。二是，特征生成，将文本转换为适合不同计算分析方法使用的结构化数据表示，三是，观察数据上的特征，选择一个合适的算法模型，对模型的结构做出调整。四是，为了提升审核速度，还需要使用模型压缩的技术，把模型变小，满足线上检测的实时性要求。
业务落地的过程看似简单，但难题有很多。面临诸如“数据不平衡削弱计算机的挑选分类能力”、“强对抗性迫使算法也得不停升级”、“文本短导致语义理解偏差”等诸多挑战，满足不了有害内容定位的超高准确率要求。
近年来，随着底层技术的持续突破，以BERT为代表的预训练语言模型及模型蒸馏技术等发展相继出现，NLP技术迎来新的“春天”。“过去难以完成的事情，现在迎刃而解。”林洋港表示，以审核任务来说，训练算法模型所需的标注数据在减少。为了让计算机学会判断同一类有害内容问题，过去将耗费近10万的数据才能达到一个理想的效果，基于预训练语言模型fine-tune技术如今仅需要几千上万的数据即可完成模型的学习。
与此同时，结合模型压缩技术，如剪枝、量化、蒸馏等方法，采取更为轻量级的深度学习模型，在维持原有精度的前提下，将计算机的任务执行时间进一步缩短。
这种速度让人类望洋兴叹。人类每分钟可阅读字，挑选出问题内容则需要更长时间，而机器的文字处理速度比这快很多倍，毫秒之间就可检测完毕近百字。
在易盾，本文审核的实现形式多样，设置了规则系统、特征库匹配、文本分类、高频检测（短时间观察相似内容的数量）、用户画像（发布者的账号风险）等环节对文本数据做出评估。
“将算法应用到业务中与学术界研究的
转载请注明：http://www.0431gb208.com/sjslczl/7888.html
