DW 第三章：大模型的有害性-上

参考链接：

一、引言

在这次内容中，将开始探讨?型语?模型的有害性（危害）。
本节主要讲:
性能差异、社会偏?和刻板印象。

新兴技术的危害：我们知道“能?越?责任越?，对于当前开创性的?模型来说，我们需要了解这些模型的能?和危害之间的密切关系。?模型的能?所展示的潜?将导致这些模型被?泛的采?，但是与此同时造成它们的危害。

性能差异相关的危害：?型语?模型可以适应执?特定任务，对于特定任务（例如问答），性能差异意味着模型在某些群体中表现更好，在其他群体中表现更差。例如，?动语?识别（ASR）系统在??说话者的识别性能要差于??说话者（Koenecke等?，2020）。反馈循环（?模型随着数据的积累将持续训练的?种循环）可以随着时间的推移放?差异：如果系统对某些?户?法正常?作，他们就不会使?这些系统，并且会?成更少的数据，从?导致未来的系统表现出更?的差异。
社会偏见和刻板印象相关的危害：社会偏?是将某个概念（例如科学）与某些群体（例如男性）相对其他群体（例如?性）进?系统关联。刻板印象是?种特定且普遍存在的社会偏?形式，其中的关联是被?泛持有、过度简化并且?般固定的。对于?类来说，这些关联来?于获得快速的认知启发。它们对于语?技术尤为重要，因为刻板印象是通过语?构建、获取和传播的。社会偏?可能导致性能差异，如果?型语?模型?法理解表明反刻板印象关联的数据，则它们在这些数据上的表现可能会较差。

二、社会群体

在美国，受保护的属性是指那些不可作为决策基础的??特征，如种族、性别、性取向、宗教、年龄、国籍、残障状况、体貌、社会经济状况等。许多此类属性常引发争议，如种族和性别。
尽管受保护的群体并不是唯?需要关注的群体，但它们却是?个很好的出发点：相关的群体因?化和背景?异。此外，我们需要特别关注历史上边缘化的群体。

三、量化性能差异/社会偏见在LLMs中的危害

名字偏见

这?我们?先将?模型在SQuAD数据进?训练，然后设计?个新的任务进?测试。

• 动机：测试模型在涉及?名的?本中的理解和?为?式。
• 原始任务：SQuAD - Stanford Question Answering Datasets（Rajpurkar等，2016年）
• 修改后的任务：使?SQuAD数据构建额外的测试例?，将之前的测试答案中的两个名字进?交换。最终测试模型的回答正确性。
• 指标：翻转表示交换名称会改变模型输出的名称对的百分?。
• 结果：
  1、模型通常会预测与他们所知名?物相关的名称，符合他们所擅?的领域。
  2、对于不太知名的?，效果会很快减弱。
  3、当交换名称时，模型通常不会改变它们的预测结果。

刻板印象

• 动机：评估模型在涉及刻板印象的?本中的?为?式
• 任务：?较模型对具有刻板印象和反刻板印象关联的句?的概率
• 指标：刻板印象得分是模型偏好刻板印象示例的?例。作者表示，得分为0.5是理想的。
• 结果：
  1、所有模型都显示出对刻板印象数据的系统偏好。
  2、较?的模型往往具有较?的刻板印象得分。

四、测量与决策

公平性指标众多，能够将性能差异转化为单?测量结果。然?，许多这样的公平性指标?法同时被最?化，并且?法满?利益相关者对算法的期望。

衡量偏?的许多设计决策可能会显著改变结果，例如词汇表、解码参数等。现有的针对?型语?模型（LLMs）的基准测试已受到了到了严重的批评。许多上游偏?的测量并不能可靠地预测下游的性能差异和实质性的伤害。

五、其他考虑因素

LLMs有可能通过多种?式造成伤害，包括性能差异和社会偏?。理解这些伤害对社会造成的影响，需要考虑涉及的社会群体及其状况，例如历史上的边缘化、权?的缺乏。虽然在具体的下游应?环境中，伤害通常更容易理解，但LLMs却是上游的基础模型。

六、决策问题

现有的?法往往?法有效地减少或解决这些伤害；在实践中，许多技术缓解措施效果不佳。涵盖更?泛?态系统的社会技术?法，可能是显著缓解这些伤害的必要措施，这个?态系统是LLMs的情境环境。

七、总结

随着技术的更新迭代，大模型的应用越来越广，面对一些危害性，提前做好心理准备和应对措施，可以很大程度上降低这些伤害。大模型上的数据越来越完善，预测的结果也会越来越准确。