毕业论文
您现在的位置: 语言识别 >> 语言识别资源 >> 正文 >> 正文

西安交大沈超分享用全局视角开展网络欺

来源:语言识别 时间:2023/6/14

IEEExATEC

IEEExATEC科技思享会是由专业技术学会IEEE与前沿科技探索社区ATEC联合主办的技术沙龙。邀请行业专家学者分享前沿探索和技术实践,助力数字化发展。

在社会数字化进程中,随着网络化、智能化服务的不断深入,伴随服务衍生出的各类风险不容忽视。本期分享会的主题是《网络欺诈的风险与对抗》。五位嘉宾将从不同的技术领域和观察视角,围绕网络欺诈场景下的风险及对抗技术展开分享。

以下是沈超教授的演讲

出品人演讲嘉宾

沈超

西安交通大学教授、网络空间安全学院副院长

ATEC科技精英赛高级咨询委员会专家

《网络欺诈风险识别与防御的全局视角》

非常感谢IEEE和ATEC联合举办的科技思享会。大家好,我是西安交通大学的沈超。我也非常荣幸能够在这里跟大家分享我们对一些问题的看法。这个主题是《网络欺诈风险识别与防御的全局视角》。

我国已将人工智能上升到国家战略层面,在工业医疗领域都有着广泛的应用和市场前景。同时,金融领域已经成为人工智能技术成熟落地应用的行业之一。可以看到的是,年我国智慧金融市场的规模已经超过了亿人民币大关。

与此同时,在互联网和金融场景之下,人工智能技术面临着巨大的安全威胁和挑战。例如AI人脸支付被欺骗,AI伪造数据取钱等等。根据统计,从年到年,全球利用智能伪造等技术进行网络欺诈导致的金融损失,累计已经超过00亿美元。其中可以观察到利用语音、视频等信息伪造技术进行网络欺诈的案件频发。例如,年伪造语音诈骗总额高达了万美元。深度伪造技术以假乱真,引发了很多的争议,而视频合成技术也被不法分子利用,进行网络诈骗。

这样现象背后都是AI技术在发展的同时,带来的隐私和风险,尤其在互联网及金融场景下的应用更为明显。因此,今天想跟大家也分享一下,从我的观点来看,互联网场景或者金融场景之下,AI技术面临的安全风险和挑战。

我们以这个AI的这个流程,尤其是机器学习方法的实际应用流程来分享。在这里我们很粗略地将它分了四个阶段,包括了模型训练、模型推断、模型部署和模型应用。

模型训练阶段

在模型训练阶段的风险问题是,模型很容易遭受到后门攻击。这是模型安全风险中一个重要问题。由于缺乏时间、数据或设备等等,导致预训练需要进行微调,而很多厂家都会使用公开预训练模型。

我们需要注意到的是,共享的模型被很容易被植入后门,因为模型是来自于第三方机构的,类似于BigML、openML等等。有很多技术爱好者或技术人员在这些网站上放出开源模型,大部分从业者会从上面下载相关模型,在这些模型的基础上进行二次开发,再应用到自己的场景当中去。而我们知道,这些模型很容易被别人植入后门。在模型的sharing和reusing的过程之中,就会导致用户被动地把有后门的模型用在系统里。现在有一些后门植入方法,即便对模型进行重新的全局训练,也会存在相关的后门点。而且,现在很多模型参数很大,有些语言模型或更大厂商的模型,有上千亿、甚至上万亿个参数,全局训练需要花费相当大的人力和资源。具体来说,对于这种公开的模型,其实后门植入是比较简单的。但是,由于很少有人会放出来一些后门的样本数据,所以测试数据集非常少。并且应用场景很广泛。导致现在去寻找这样的后门是非常困难的。

我们团队曾做过一个研究,就是我们下载了这个领域当中最popular的前个模型,这些模型下载量都很大,有的一个月的下载量能上好几十万。在这样的模型之上,我们利用自己开发的工具进行后门检测,发现大量的公开模型存在很多后门点,或者说有很多容易被攻击者利用的后门场景。因此,这种后门的植入手段引发的风险是很大的。而且,后门检测的限制条件很多,很多后门的植入方法是很明显的,很容易看出来他对原始图片是有修改的。

我们团队自己在做相关的研究,很多比较前沿的后门的植入趋势是让后门变得更加自然,更加不突兀、即像素级的后门修改,这样的后门很难检测。植入后门很简单,我可以在上亿个神经元之中放置后门的选择点,但是我想把它找出来却是一件很难的事。触发器在哪里、什么样的、什么效果,你并不知道,而且测试集验证集也很少,很难去触发一些触发器的特征或者一些标注,使得后门的检测面临着很大的挑战。但是,这种模型的应用点是非常多的。这样的威胁如果存在于模型之中,而且没有被你发现的话,可能会带来相当严重的后果。

其实,后门植入过程也比较简单,首先是后门的配置。比如我们在“5”的图片上增加一个框体,我们将这样的一个框体作为它的后门的触发点。我们在训练的时候,把“5”和框体配在一起,再给它标签给成“4”。在做神经网络训练的时候,这样一个样本会被神经网络训练成“4”,那做识别的时候,如果模型看到这样一个“5”,模型就触发给出“4”的结果。这就完成了一个后门输入的过程。所以,我们可以看到后门植入过程是非常简单的(你要做点坏事情是很容易的)。随着后门植入相关攻击领域的发展,有一些后门植入的新的概念和方法出来。我们的团队的研究方向,是让后门植入更加隐蔽。

以人脸识别为例,人脸识别的过程是从原始输入到人脸检测、到区域识别、到特征提取,再把人脸特征拿出来之后再存入到特征库里面,就完成了人脸训练集数据的写入。他在特征在这个识别的时候,我们拿一张新的照片出来,把这个人脸抠出来,然后提取他这个特征,再和特征库中的特征进行匹配,如果合适的话,就完成人脸识别。我们可以

转载请注明:http://www.0431gb208.com/sjslczl/4999.html