一份少数派的书面报告:检查预测性警务的算法偏差

预测性警务应该改变警务的执行方式,将我们带入一个精明的执法世界,消除偏见,警察将能够响应数据,而不是直觉。但是,在我们大多数人第一次听到“预测性警务”一词之后的十年,看来它显然没有用。与几年前相比,在公众的强烈反对下,该技术的使用量正急剧下降。

今年4月,洛杉矶-据《洛杉矶时报》报道,“率先利用数据预测犯罪”-削减了其预测性警务计划的资金,将成本归咎于此。 “这是一个艰难的决定,”警察局长米歇尔·摩尔(Michel Moore) 告诉《洛杉矶时报》。 “这是我们使用的一种策略,但是现在要做的是花费数十万美元来进行成本预测,而不是找那笔钱并将其用于其他更核心的活动。”

什么地方出了错?标榜为“智能”技术的东西怎么会进一步加剧根深蒂固的偏见和歧视?预测性警务的梦想是否可以通过正确的算法进行调整?或者是目前正在努力应对警察应如何运作的更公平社会的死胡同?

预测性警务的前景

当前形式的预测性警务可以追溯到大约十年前,心理学家Colleen McCue和洛杉矶警察局长查理·贝克(Charlie Beck)在2009年发表了一篇论文,标题为“预测性政策:我们可以从沃尔玛和亚马逊那里学到有关在经济衰退中打击犯罪的知识吗?在论文中,他们抓住了大型零售商使用大数据的方式来帮助发现过去客户行为的模式,这些模式可以用来预测未来行为。由于计算和数据收集方面的进步,McCue和Beck建议可以实时收集和分析犯罪数据。然后,可以使用这些数据来预测,预防和更有效地应对尚未发生的犯罪。

从那以后的几年中,在美国许多地区以及世界其他地区,预测性警务已经从一个废弃的想法转变为现实。在这一过程中,它已着手将警务从一种反动力量转变为一种主动力量。利用数据驱动技术的一些突破,可以实时发现模式并对其采取行动。

预测性策略图

“预测性警务有两种主要形式,” 安德鲁·弗格森哥伦比亚特区大学法学院教授大卫·克拉克(David A. Clarke)的法学家,《大数据警务的兴起:监视,种族和执法的未来》一书的作者告诉Digital Trends。 “[These are] 基于地点的预测性策略和基于人的预测性策略。”

在这两种情况下,预测性警务系统都会为相关人员或地点分配风险评分,这会鼓励警察按照给定的时间间隔进行跟进。这些方法中的第一种是基于位置的预测性警务,主要集中在警察巡逻上。它涉及根据以前的统计数据,使用犯罪地图和有关未来犯罪可能发生地点的分析。

预测性警务并没有帮助摆脱种族主义和其他系统性偏见等问题,反而实际上可以帮助他们根深蒂固。

第二种方法侧重于预测个人构成潜在未来风险的可能性。例如,2013年,一名芝加哥警察指挥官被送往22岁的罗伯特·麦克丹尼尔(Robert McDaniel)的家中,该人被一种算法标记为在芝加哥市中心的枪支暴力行为的潜在危险或肇事者。该算法帮助汇总了“清单”,寻找了可以预测将来的犯罪者或受害者的模式,即使他们自己没有做任何事情来保证这种审查不符合概要。

作为 芝加哥论坛报指出:“该策略要求警告那些特别关注名单上的人,即使对于最轻微的犯罪,进一步的犯罪活动也将导致法律对其施加全面的打击。”

预测性策略的梦想是,通过对可量化的数据进行操作,不仅可以使策略更加高效,而且更不容易产生猜测,从而产生偏见。支持者声称,它将改变治安状况,并开创智能警务的新时代。但是,几乎从一开始,预测性警务就遭到了坚定的批评。他们认为,预测性警务并没有帮助摆脱种族主义和其他系统性偏见之类的问题,反而实际上有助于巩固它们。而且很难说他们没有道理。

歧视性算法

基于机器学习的预测策略系统可以学习基于种族等因素进行区分的想法并不是什么新鲜事。机器学习工具需要使用大量数据进行训练。而且,只要数据是通过种族继续成为压倒一切因素的系统收集的,就可能导致歧视。

巡逻警察

正如Renata M.O’Donnell在2019年的论文中写道,平等保护条款下具有挑战性的种族主义预测警务算法”,机器学习算法是从司法系统获得的数据中学习的,在司法系统中,“美国黑人被囚禁在州监狱中的比率是白人囚禁的5.1倍,而今天出生的三分之一黑人有望如果目前的趋势继续下去,他将终生入狱。”

弗格森告诉《数字趋势》:“数据不是客观的。” “只是我们沦为二进制代码。在现实世界中运行的数据驱动系统不会比现实世界更加客观,公正或公正。如果您的现实世界在结构上不平等或种族歧视,则数据驱动系统将反映出这些社会不平等现象。输入的内容受到偏见的影响。分析受到偏见的影响。警察权威的机制并不会因为有技术指导系统而改变。”

弗格森(Ferguson)以逮捕为例,以此作为预测风险的看似客观的因素。但是,由于警察资源的分配(例如巡逻地点)和通常需要逮捕的犯罪类型,逮捕会受到偏斜。这只是潜在问题数据的一种说明。

脏数据的危险

数据挖掘中有时将丢失和不正确的数据称为“脏数据”。一个 人工智能研究人员于2019年发表的论文纽约大学现在学院 将该术语扩展为还指的是受腐败,有偏见和非法行为影响的数据,无论这些数据是否来自因个人和社会偏见而被故意操纵的数据。例如,它可能包含从无辜者被捕而产生的数据,这些人已经在他们身上植入了证据或被错误地指控。

具有讽刺意味的事实是,在过去的几十年中,数据社会的需求(所有内容都与量化和铸铁的数值目标有关)仅导致了很多……非常糟糕的数据。 HBO系列The Wire展示了现实世界中的“欺骗统计数据”现象,并且自节目开播以来的几年里,提供了许多实际的系统数据操纵,伪造的警察报告和违宪做法的例子。无辜的人入狱。

一份少数派的书面报告:检查预测性警务的算法偏差 1

允许当权者人为打击目标的不良数据是一回事。但是,将其与算法和预测模型结合使用,这些算法和预测模型以此为基础对世界进行建模,则可能会使事情变得更糟。

研究人员已经证明,将可疑犯罪数据插入预测性警务算法中会如何创建所谓的“失控的反馈回路”,无论实际犯罪率如何,警察都会反复被派往同一地区。该论文的合著者之一, 计算机科学家Suresh Venkatasubramanian,他说机器学习模型可以通过其建模建立错误的假设。就像俗话说的那样,对于用锤子敲打人来说,每个问题都像钉子一样,这些系统仅对问题的某些要素建模,并且仅想象一个可能的结果。

“[Something that] 在这些模型中没有得到解决的是,您在多大程度上建模这样一个事实,即向某个地区投掷更多警察实际上会降低居住在那里的人们的生活质量?”犹他大学计算机学院教授Venkatasubramanian告诉Digital Trends。 “我们认为更多的警察是更好的选择。但是,正如我们现在所看到的,拥有更多的警察不一定是一件好事。实际上,这会使情况变得更糟。在我从未见过的一种模式中,没有人问过让更多的警察进入某个区域的成本。”

预测性警务的不确定未来

从事预测性警务工作的人有时会讽刺地使用“少数群体报告”一词来指称他们正在进行的预测。该术语经常被引用为对 2002年同名电影,这又是基于Philip K. Dick 1956年的短篇小说而得出的。在《少数群体报告》中,PreCrime警察特别部门基于对未来将要实施的犯罪的了解逮捕了犯罪分子。这些预测是由三种称为“预齿轮”的心理学家提供的。

但是《少数派报告》中的一个错误是预测并不总是准确的。其中一个预嵌齿轮的异议提供了对未来的另一种看法,由于担心使系统显得不可信任,因此将其压制了。

展示策略的内部审核无效。预测列表不仅有缺陷,而且效果不佳。

目前,预测性警务正面临不确定的未来。除了诸如面部识别之类的新技术之外,执法部门可用于可能用途的技术从未如此强大。同时,对使用预测性警务的意识引起了公众的强烈反对,实际上可能有助于消除它。弗格森告诉《数字趋势》杂志,过去几年来,预测性警务工具的使用一直处于“下降趋势”。

“在顶峰时期, [place-based predictive policing] 该公司在60多个主要城市中发展壮大,但由于成功地进行了社区组织,因此已大大减少或用其他形式的数据驱动型分析代替,”他说。简而言之,“预测性警务”一词变得有毒,警察部门学会了重命名他们对数据所做的工作。基于人的预测性警务的下降幅度更大。在社区遭到尖锐批评并进行了破坏性的内部审计后发现,这两个主要投资城市(芝加哥和洛杉矶)放弃了基于人的策略,这些策略表明该策略无效。预测列表不仅有缺陷,而且效果不佳。”

错误的工作工具?

然而, 拉希达·理查森(Rashida Richardson)人工智能政策研究总监现在研究所表示,使用这种技术存在太多的不透明性。她说:“由于政府对技术的采购缺乏透明度,以及现有采购程序中的许多漏洞可能使某些技术采购不受公众审查,我们仍然不知道。”她举例说明了可以免费提供给警察部门或由第三方购买的技术。 “我们从矿山和媒体报道等研究中得知,美国许多最大的警察部门都曾使用过该技术,但也有许多小型警察部门正在使用该技术,或仅在有限的一段时间内使用了该技术。 。”

一份少数派的书面报告:检查预测性警务的算法偏差 2

鉴于当前对警察角色的质疑,是否会有诱惑重新采用预测性警务作为数据驱动型决策工具—也许是在反乌托邦式科幻品牌下?这样的复兴有可能出现。但是Venkatasubramanian高度怀疑机器学习是当前工作的正确工具。

“整个机器学习及其在现代社会中的成功都基于这样一个前提,即无论实际存在什么问题,它最终都可以归结为收集数据,建立模型,预测结果,而您不必担心域。”他说。 “您可以编写相同的代码并将其应用于100个不同的位置。那就是抽象和可移植性的承诺。问题是,当我们使用人们称为社会技术系统的系统时,如果您将人与技术混杂在一起,那么您将无法做到这一点。您不能只是插入一块并期望它能工作。因为 [there are] 这种影响会产生连锁反应,并且在这样一个系统中存在着不同参与者的议程不同的事实,他们以不同的方式将系统颠覆到自己的需求。当您谈论有效性时,必须考虑所有这些因素。是的,您可以抽象地说一切都可以,但是没有抽象。只有您正在工作的环境。”