雷锋网AI科技评论按：本文由BenPacker,YoniHalpern,MarioGuajardo-CéspedesMargaretMitchell（GoogleAI）于年4月13日发布。这篇文章讨论并尝试实际测量了不同文本嵌入模型中的性别偏差。雷锋网AI科技评论全文编译如下。
当面对任务时，我们机器学习从业者通常基于该任务上的表现好坏来选择或训练模型。例如，假设我们正在建立一个系统来分类电影评论是正面还是负面，我们会选取5种不同的模型，看看每个模型对于这项任务的表现如何。
通常情况下，我们会选择模型C。尽管较之其他模型，模型C的效果最好，但是我们发现，模型C也最有可能将更积极的情感赋予「主角是男人」这句话，而不是「主角是女人」这句话。我们应该重新思考这个问题吗？
机器学习模型中的偏差
神经网络模型可以非常有力、有效地用于模式识别并揭示从语言翻译，病理学到玩游戏等各种不同任务的结构。同时，神经网络（以及其他类型的机器学习模型）也包含许多形式的存疑的偏差。例如，被训练用于检测粗鲁，侮辱或不恰当评论的分类器在面对「我是同性恋」和「我是直的」这两句话时，可能更容易命中前一句；人脸识别模型对于着妆的女性而言可能效果不佳；语音转录对美国黑人的错误率可能高于美国白人。
许多预先训练好的机器学习模型已广泛供开发人员使用。例如，TensorFlowHub最近公开发布了平台。当开发人员在应用程序中使用这些模型时，他们意识到模型存在偏差以及偏差在这些应用中会如何展现。
人为的数据默认编码了人为的偏差。意识到这件事是一个好的开始，关于如何处理它的研究正在进行中。在Google，我们正在积极研究意外偏差分析和减小偏差的策略，因为我们致力于制造适合每个人的产品。在这篇文章中，我们将研究一些文本嵌入模型，提出一些用于评估特定形式偏差的工具，并讨论构建应用程序时这些问题的重要性。
WEAT分数，一种通用的测量工具
文本嵌入模型将任何输入文本转换为数值化的输出向量，并且在过程中将语义相似的词语映射到相邻的向量空间中：
给定一个训练好的文本嵌入模型，我们可以直接测量模型中的单词或短语之间的关联。这些关联许多都是符合预期的，并有助于自然语言任务。然而，也有些关联可能会有问题。例如，Bolukbasi等人的突破性NIPS论文《ManistoComputerProgrammerasWomanistoHomemaker?DebiasingWordEmbeddings》中发现，基于Google新闻文本用流行的开源工具word2vec训练的词向量模型中，「男人」和「女人」之间的向量关系类似于「医生」和「注册护士」或「掌柜」和「家庭主妇」之间的关系。
最近，由Caliskan等人提出的词向量关联测试（WEAT）（Semanticsderivedautomaticallyfromlanguagecorporacontainhuman-likebiases,Science,是一种检查词向量概念之间关系的方法，这些概念可以从内隐联想测验（IAT）中捕获。本文我们将WEAT用作探索某些存疑关联的一种方式。
WEAT测试得出了模型将目标词组（例如，非洲裔美国人名字，欧洲美国人名字，花或昆虫）与属性词组（例如「稳定」，「愉快」或「不愉快」）联系起来的程度。两个给定词之间的关联被定义为词向量之间的余弦相似度。
例如，第一次WEAT测试的目标列表是花和昆虫的类型，属性列表是表愉快的词（例如「爱」，「和平」）和不愉快的词（例如「仇恨」，「丑陋的」）。总体测试分数上，相对于昆虫，花与表示愉快的词语之间的相关程度更大。值为正的高分（分数可以介于2.0和-2.0之间）意味着花与愉快的单词更相关，而值为负的高分意味着昆虫与愉快的单词更相关。
而在Caliskan等人提出的第一个WEAT测试中，测量的关系并不是社会所
转载请注明：http://www.0431gb208.com/sjszlff/4438.html
