首页 - 传媒
快速评论

警惕算法潜藏歧视风险

作者:郑志峰 来源:光明日报 浏览: 2019-07-11 17:28:59
 *来源:光明日报  作者:郑志峰,系西南政法大学民商法学院讲师当你搜索关键词时,搜索引擎会计算该向你显示哪些搜索结果;当你登录视频网站时,某些系统会推荐一些你喜欢的节目;新闻类App会利用算法决定向你更新哪些信息。显然,我们生活在一个算法的时代,算法为人们的日常学习、生活和工作提供了极大便利。...
分享到微博 分享到微信朋友圈 分享到QQ空间

 *来源:光明日报  作者:郑志峰,系西南政法大学民商法学院讲师

当你搜索关键词时,搜索引擎会计算该向你显示哪些搜索结果;当你登录视频网站时,某些系统会推荐一些你喜欢的节目;新闻类App会利用算法决定向你更新哪些信息。显然,我们生活在一个算法的时代,算法为人们的日常学习、生活和工作提供了极大便利。但需要警惕的是,算法并非完美无缺——它不仅可能出错,甚至还会产生严重的歧视问题。


算法歧视无处不在



算法就是一系列指令,告诉计算机该做什么。作为一种数学理性的运用,人们原本期待算法能够绝对客观,但算法歧视的现象却出人意料地频频出现。


算法歧视突出表现为以下几类:其一,价格歧视。例如,早在2000年,某网站就曾经搞过算法“杀熟”,同一款DVD碟片,对老用户报价26.24美元,对新用户仅报价22.74美元。近年来,我国一些网购平台利用大数据“杀熟”的现象也是屡见不鲜。其二,性别歧视。例如,某网站研发了一套筛选简历的算法系统,结果显示其对男性求职者有着明显的偏好,女性求职者的简历常常分数不高。其三,种族歧视。例如,某国外著名网站上的高薪工作广告更多地向白人显示;智能照相机在照相时不停提醒亚裔睁开眼睛等。此外,基于宗教信仰、经济状况、外貌等形式的算法歧视也广泛存在。


相较于人类歧视,算法歧视有其特殊一面。其一,算法歧视更加精准。算法能够对每个用户精准画像,被打上歧视标签的用户绝无逃脱可能。其二,算法歧视更加多元。人类歧视通常依据的是性别、学历等显形特征,但算法能够挖掘出更加深层次的隐形特征来作为其歧视处理的依据,包括网页浏览记录、购物记录、行车路线等。


其三,算法歧视更为片面。人类社会对于个体的判断通常是综合和动态的,而算法无法获取或处理用户的全部数据。其四,算法歧视更加隐蔽。传统基于种族、性别、民族等特征的歧视是法律所禁止的,但算法却可以规避这些规定。



算法歧视的原因剖析



数据是人工智能的养料,歧视性数据必然会产生歧视性结果。例如,2016年,某国外公司的AI聊天机器人上线,但在和网民聊天时却被灌输了许多脏话以及各种歧视的思想,结果迅速成为一名“不良少女”,上线不到一天就被迫下线。与此同时,不完整、不正确或不及时的数据也会产生算法歧视。例如,2016年举行的首届“AI国际选美比赛”,由于算法训练的照片没有包含足够多的非白人面孔,结果导致绝大多数获奖者都是白人选手。


算法本身存在缺陷或瑕疵也会引发歧视。算法决策总是需要设定某些变量或指标,而这些都是人为设定的,不排除掺入歧视的可能。例如,很多国际互联网巨头的男性雇员占了2/3,技术岗位的比例更是高达4/5,这使得算法设计的过程中难免会掺入性别歧视的因子。与此同时,尽管算法是应对复杂工作的利器,但在其输入层与输出层之间却存在“黑箱”,这加剧了算法歧视的复杂性。此外,算法本质上是一种分析、预测的数学技术,强调的是相关性,而非因果性,这决定了算法本身存在歧视的基因。


此外,算法作为人类利用的工具,纵使输入的数据和算法技术本身都没有问题,仍然存在歧视的可能。例如,算法能够清晰地区分出消费能力强、忠诚度高的老客户群体,但企业完全可能将之作为杀熟的依据,而非促销让利的参考。



算法歧视的治理之道



首先,完善算法的法律规制。一方面,规范算法利用的范围、方式和限度。对于算法歧视,既要从公法层面严厉制裁滥用算法的企业等主体,也可以考虑在私法层面引入大规模侵权规则和惩罚性赔偿规则。与此同时,对于高度敏感的数据应当禁止算法处理,包括种族、民族、宗教信仰等。另一方面,要赋予用户更多的权利。用户可以通过被遗忘权来删除过时的数据,通过更正权来补充或更改错误或不完整的数据。还应参照欧盟《一般数据保护法》的规定,赋予用户拒绝权和解释权,即如果用户认为算法的自动化决策存在歧视,那么其有权拒绝接受处理结果。


其次,重视算法的技术规制。面对日新月异的人工智能技术,依靠单一的法律规则来应对算法歧视是难以奏效的。对此,建议引入算法的伦理设计,从一开始就将算法透明、算法可解释、算法问责、算法审计等价值需求嵌入算法的设计当中。相较于法律的事后救济,算法的伦理设计更强调预防的重要性,要求设计者在算法的设计阶段遵守禁止歧视的法律和伦理规则,并通过自然语言将法律语言嵌入到算法的全生命运行周期中。


最后,探索算法规制的市场路径。传统理论认为,算法公平与企业的营利目标是冲突的,企业没有动力推动算法公平的实现。然而,随着用户对于算法公平的需求越来越强烈,市场将会淘汰那些滥用算法的企业。对此,企业可以通过发布透明度报告等方式来公布算法公平指数,以赢得用户信任。此外,公权力机关通过投资和采购的方式,也可以引导企业提高算法公平指数,减少算法歧视的发生。

 *来源:光明日报  作者:郑志峰,系西南政法大学民商法学院讲师

当你搜索关键词时,搜索引擎会计算该向你显示哪些搜索结果;当你登录视频网站时,某些系统会推荐一些你喜欢的节目;新闻类App会利用算法决定向你更新哪些信息。显然,我们生活在一个算法的时代,算法为人们的日常学习、生活和工作提供了极大便利。但需要警惕的是,算法并非完美无缺——它不仅可能出错,甚至还会产生严重的歧视问题。


算法歧视无处不在



算法就是一系列指令,告诉计算机该做什么。作为一种数学理性的运用,人们原本期待算法能够绝对客观,但算法歧视的现象却出人意料地频频出现。


算法歧视突出表现为以下几类:其一,价格歧视。例如,早在2000年,某网站就曾经搞过算法“杀熟”,同一款DVD碟片,对老用户报价26.24美元,对新用户仅报价22.74美元。近年来,我国一些网购平台利用大数据“杀熟”的现象也是屡见不鲜。其二,性别歧视。例如,某网站研发了一套筛选简历的算法系统,结果显示其对男性求职者有着明显的偏好,女性求职者的简历常常分数不高。其三,种族歧视。例如,某国外著名网站上的高薪工作广告更多地向白人显示;智能照相机在照相时不停提醒亚裔睁开眼睛等。此外,基于宗教信仰、经济状况、外貌等形式的算法歧视也广泛存在。


相较于人类歧视,算法歧视有其特殊一面。其一,算法歧视更加精准。算法能够对每个用户精准画像,被打上歧视标签的用户绝无逃脱可能。其二,算法歧视更加多元。人类歧视通常依据的是性别、学历等显形特征,但算法能够挖掘出更加深层次的隐形特征来作为其歧视处理的依据,包括网页浏览记录、购物记录、行车路线等。


其三,算法歧视更为片面。人类社会对于个体的判断通常是综合和动态的,而算法无法获取或处理用户的全部数据。其四,算法歧视更加隐蔽。传统基于种族、性别、民族等特征的歧视是法律所禁止的,但算法却可以规避这些规定。



算法歧视的原因剖析



数据是人工智能的养料,歧视性数据必然会产生歧视性结果。例如,2016年,某国外公司的AI聊天机器人上线,但在和网民聊天时却被灌输了许多脏话以及各种歧视的思想,结果迅速成为一名“不良少女”,上线不到一天就被迫下线。与此同时,不完整、不正确或不及时的数据也会产生算法歧视。例如,2016年举行的首届“AI国际选美比赛”,由于算法训练的照片没有包含足够多的非白人面孔,结果导致绝大多数获奖者都是白人选手。


算法本身存在缺陷或瑕疵也会引发歧视。算法决策总是需要设定某些变量或指标,而这些都是人为设定的,不排除掺入歧视的可能。例如,很多国际互联网巨头的男性雇员占了2/3,技术岗位的比例更是高达4/5,这使得算法设计的过程中难免会掺入性别歧视的因子。与此同时,尽管算法是应对复杂工作的利器,但在其输入层与输出层之间却存在“黑箱”,这加剧了算法歧视的复杂性。此外,算法本质上是一种分析、预测的数学技术,强调的是相关性,而非因果性,这决定了算法本身存在歧视的基因。


此外,算法作为人类利用的工具,纵使输入的数据和算法技术本身都没有问题,仍然存在歧视的可能。例如,算法能够清晰地区分出消费能力强、忠诚度高的老客户群体,但企业完全可能将之作为杀熟的依据,而非促销让利的参考。



算法歧视的治理之道



首先,完善算法的法律规制。一方面,规范算法利用的范围、方式和限度。对于算法歧视,既要从公法层面严厉制裁滥用算法的企业等主体,也可以考虑在私法层面引入大规模侵权规则和惩罚性赔偿规则。与此同时,对于高度敏感的数据应当禁止算法处理,包括种族、民族、宗教信仰等。另一方面,要赋予用户更多的权利。用户可以通过被遗忘权来删除过时的数据,通过更正权来补充或更改错误或不完整的数据。还应参照欧盟《一般数据保护法》的规定,赋予用户拒绝权和解释权,即如果用户认为算法的自动化决策存在歧视,那么其有权拒绝接受处理结果。


其次,重视算法的技术规制。面对日新月异的人工智能技术,依靠单一的法律规则来应对算法歧视是难以奏效的。对此,建议引入算法的伦理设计,从一开始就将算法透明、算法可解释、算法问责、算法审计等价值需求嵌入算法的设计当中。相较于法律的事后救济,算法的伦理设计更强调预防的重要性,要求设计者在算法的设计阶段遵守禁止歧视的法律和伦理规则,并通过自然语言将法律语言嵌入到算法的全生命运行周期中。


最后,探索算法规制的市场路径。传统理论认为,算法公平与企业的营利目标是冲突的,企业没有动力推动算法公平的实现。然而,随着用户对于算法公平的需求越来越强烈,市场将会淘汰那些滥用算法的企业。对此,企业可以通过发布透明度报告等方式来公布算法公平指数,以赢得用户信任。此外,公权力机关通过投资和采购的方式,也可以引导企业提高算法公平指数,减少算法歧视的发生。


深蓝财经声明:文章内容仅供参考,不构成投资建议。投资者据此操作,风险自担!

相关新闻

热门资讯
财经风向标
×

分享到微信朋友圈

打开微信点击底部的“发现”
使用“扫一扫”即可将网页分享至朋友圈