随着AI面试风靡人力资源招聘领域，头部公司如高盛、联合利华，国内的学而思等企业纷纷采用AI面试对候选人进行初筛，不禁让人心生疑惑，AI面试如何对候选人的回答进行判断？在过程中进行了怎样的算法分析呢？
面面带你一探究竟：
在企业招聘面试的过程中，面试官常常会问这样的问题：
你是否接受异地调配”“你是否接受加班”“你有没有这方面的经验”
对于这类问题，面试者的回答会带有一定的倾向性（是/否）。面试官会根据面试者的回答内容，判断正负向，并和该问题所期望的回答进行对比，从而筛选出适合这份工作的面试者。
我们将这一类问题称为是否判断题，即根据面试问题和面试者的回答判断面试者回答的正负向信息。
图1：面试问题回答正负向实例01AI面试系统是如何识别面试回复的？
在方便面面试系统中，面试者通过视频对面试官的问题进行应答。面试系统通过AI语言识别技术，将面试者的语音回答转换成文字，与对应的题目文本一同存入数据库。
对于面试系统中的是否判断问题，我们可以将其转化为一个自然语言处理中的二分类问题，即通过面试问题和面试回答文本，对面试回答进行正负向判断，再与岗位要求进行对比，最终判断面试者是否符合要求，整个流程如图2所示。
图2:方便面面试AI判断是否判断流程我们将问题文本、面试视频、语音转文字结果以及AI判定结果在方便面面试HR端界面中呈现出来，如下图所示。
图3：方便面面试系统HR端界面面试官既可以选择观看面试者对每一条问题的回答视频，也可以省略视频直接阅读经过语音识别后转化的回答文字，这样能够节省很多时间。
对于是否判断题，我们的AI系统会根据问题和回答的文本信息，通过分类算法给出正负向判断，如果判断结果与岗位要求一致，我们会在问题右端标注“符合”，反之会标注“不符”，从而帮助企业HR更快的对面试者进行择优劣汰。
02招聘中AI智能识别的难点
最直观的是否判断方式是将回答文本中拆分成词和字，然后看是否存在否定词，例如：不，没有，否，缺乏等词语。然而这种方法会在实际判断中会遇到以下问题：
1.回答可能没有明确的肯定词或否定词，正负向要通过语境判断
例：我身体好如果问题是“你是否健康”，这是一个正向回答。然而如果问题是“你是否有重大疾病”，那么这是一个负向回答。所以回答的正负向需要根据问题也语境进行判断。
2.否定词中包含肯定意思以及多重否定
“没有”和“没有问题”都包含否定词，前者表示否定，而后者表示肯定。还有时候会出现两个以上的否定词，例如：“没没有”，“也不是不可以”，前者表示否定，而后者是肯定。
3.长回答隐藏信息
有些回答者的问题会很长，例如：虽然我。。。，但是我。。。我非常希望。。。我会努力的。。。如何理解长文本中的正负向信息，也将成为AI是否判断算法实现的难点。针对以上难点，我们采用人工智能自然语言处理技术，建立是否判断模型。
03自然语言处理技术
自然语言处理（natruallanguageprocessing，以下用NLP表示）是机器学习人工智能领域的一个分支，旨在实现人与计算机之间用自然语言进行有效通信。
NLP的研究的对象是文本，与一般机器学习任务用到的数据不同，文本数据的往往是非结构化的。常见的NLP任务包括序列标注，分类任务，句子关系判断以及生成式任务。其中分类问题主要包含文本分类以及情感分析。
面试是否判断问题可以转化为一个文本二分类问题，输入数据（特征）是面试问题+回答的文本，而输出数据是正负向判断结果，即是或否。
常见的NLP分类模型包括词袋模型(BOW)，循环神经网络模型(RNN)，长短记忆模型(LSTM)，转换器模型(transformer)以及Bert模型。这里我们将重点介绍Bert模型。
Bert系列模型
近几年，Bert(BidirectionalEncoderRepresentationfromTransformers)模型在各种自然语言处理任务中均取得最好的结果。Bert模型采用了迁移学习(transferlearning)的思路，训练Bert模型一般需要两个步骤：预训练和微调。
预训练(pretrainining)是在一个海量数据集上训练一个大模型。预训练任务包含两个，一个是填词，预测训练文本中被挖去的词和字，另一个是判断两句话是否构成上下文。这两个预训练任务使模型学习了词与句子的关系以及句子和句子之间的关系。预训练可以理解过学习语言的过程，具有很强的迁移性。
Bert模型训练的第二个步骤是微调(fine-tuning)，微调是将预训练好的模型在某一主题背景下的数据上进行训练，例如情感分析，问题回答等，微调可以理解为在某一场景下做的具体学习。微调一般训练集较小，训练速度较快。
bert基本模型架构包含将近M个参数，预训练模型大小在M左右。在产品中，我们采用一个轻量级的Bert模型----Albert。Albert模型是Bert模型的一个变体，其采用了更复杂的网络结构，但是模型在神经网络层之间共享了一些参数。Albert模型参数总数12M左右，最终模型大小仅有16M左右，且可以取得不输于Bert的效果。
04AI是否判断模型训练
图3：AI是否判断神经网络模型结构我们使用的训练模型是Albert外接两层神经网络作为fine-tunelayer。模型上游架构是预训练的Albert_tiny网络（图3中蓝色部分所示），输入文本为问题+回答。模型下游fine-tune结构是一个两层的神经网络（图中黄色部分所示）。
我们将pretrainalbert网络的输出结果加权平均，得到一个的向量，作为fine-tune部分的输入。输入向量先经过一层fully-connectedlayer。最后经过一层sigmoidlayer输出一个0到1之间的数字，可以作为判断正向的概率。
在模型训练中，我们用预先训练好的albert模型参数作为初始化参数。在微调的过程中，我们一般选择只更新fine-tune部分的参数，这样训练速度很快，在我们4月份最初上线的模型中，就这采用这用的做法。
但随着数据量增长，复杂回答逐渐增多，只改变fine-tuning部分的参数在之后的训练中表现不佳。因此，在我们的训练中，我们会更新所有模型参数（pretrain+fine-tune），虽然模型训练时间较长，但在测试集上的准确率会有5%的提升。
模型训练
我们从数据库提取中所有是否判断类问题以及面试回答文本，对将近条问题+回答进行是否两类的标注。
其中有14%的数据由于面试者回答无效以及面试者回答正负向难以判断，我们将其剔除，最终得到0条左右有明显正负向的数据。按照4:1的比例将数据集分为训练集和测试集。我们用训练集中的数据训练模型，通过模型在测试集上的表现来评估模型。
判断标准与训练结果
在我们的数据集中，正向回答占到70%，负向回答只有不到30%。如果我们将所有案例都预测为正向，那模型也会拥有70%的正确率。
在这种不平衡的数据集上，模型正确率将不是再唯一的衡量标准，我们还会关心模型在少数类上的表现。
数据根据真实正负向以及模型预测的正负向，我们将测试集数据分为四类:
Truepositive(TP):真实结果正向，算法预测正向
Falsepositive(FP):真实结果负向，算法预测正向
Falsenegative(FN):真实结果正向，算法预测负向
Truenegative(TN):真实结果负向，算法预测负向
图4：根据真实结果与预测结果对数据进行分类模型正确率可以用以下公式来表示正确率=(TP+TN)/(TP+TN+FP+FN)
负向精准率=TN/(TN+FN)负向精准率描述的是所有被预测为0中真正是0的比例
负向召回率=TN/(TN+FP)负向召回率描述的是所有真实为0的案例被正确预测为0的比例
模型经过训练整体正确率在90%左右，负向回答的精准率和召回率均在85%左右，而正向回答的精准率和召回率均在95%左右。
高频错误题统计我们统计模型在测试集上出现的五大高频错误题，分别为：
表5:高频错误问题统计
前两类问题是对以往经验的描述，面试者有时会回答一些需要背景知识才能判断的内容。
例如是否从事快递工作，回答“我做过服务员”和“我做过司机”都会被判断为正向。然而“服务员”和“司机”都与快递行业无关，当前模型并不能做到理解这种背景知识。
后三类问题判断的难点在于回答者往往会给出一些条件。例如：“接受加班，但不能经常”，“我接受海淀区调配”，给模型的判断造成一定困难。
模型效果体验
我们对最终模型进行手动测试，这里我们根据之前描述的各种难点，手动输入一些问题和回答（这些问题与回答的组合并不存在于训练集和测试集中）。图6为一些对最终模型手动测试的结果。
图6：模型在新数据上的测试可以看到模型在大多数是否判断难点下具有很不错的表现。而对于逃避问题的回答，模型判断可能会出现一些失误。在后续的过程中，我们将持续优化这一方面。
05关于AI视频面试未来方向
我们将自然语言处理技术应用在面试系统问题回答的是否判断中，我们的模型在预训练Albert模型的基础上，针对系统中近0条问答数据进行微调训练，最终得到一个可以对是否类问题进行判断的AI系统。
在数据标注的过程中，我们发现由于用户对系统不是很熟悉，以及语音识别系统的一些问题，在面试的过程中产生了很多无效答复，例如：是否有电动车？答：喂喂，听得见吗？
另外，由于一些题目定义比较模糊，很多回答难以单纯地用正负向来判别。例如：是否接受全市调派？答：我可以接受，但最好在海淀。
这样的答复没有统一的判别标准，可能需要根据实际用人单位的需求来判定。在未来的算法优化中，我们将针对上述两种情况增设一类”无法判断“，将现有的正负向二分类问题转化为：正向，无法判断和负向的三分类问题。
对于难以判断的回答，面试官可以通过自己的标准来判定。而对于有明确的正负向回答，系统会自动将这些回答判别出来，以帮助面试官更快的对候选人进行择优劣汰。
致谢：
技术模型支持：方便面AI面试技术专家陨墨（8年机器学习/数学/统计研究经验）
数据标注支持：潇潇、Alice
关于方便面智能招聘
方便面是一家人工智能企业，目前有AI面试、直播招聘、ATS智能招聘管理系统三款产品，主要针对企业招聘面试难点提出解决方案，为企业提供雇主品牌建设、人才获取、招聘流程自动化、人才沉淀等服务，用科技助力为企业智能化招聘提供支持。
转载请注明：http://www.0431gb208.com/sjszyzl/3483.html
