“我猜是电脑搞错了”:21世纪的约瑟夫·K.
一天早上,约瑟夫·K.(Josef K.)莫名其妙地被逮捕了,准是有人诬陷了他。(Kafka 2009,5)
这是弗兰兹·卡夫卡(Franz Kafka)的长篇小说《审判》( The Trial )中的第一句话,该书最初出版于1925年,被认为是20世纪最重要的小说之一。故事的主人公约瑟夫·K.突然被捕并被起诉,但他却不知缘由。读者对此也一无所知。随后的许多探寻和遭遇只是增加了这一切的不透明性,在一次不公正的审判后,约瑟夫·K.“像狗一样”(165)地被屠刀处死。人们对这个故事有多种解读。其中一种政治观点认为,这个故事显示了制度的压迫性,它的描述不仅反映了现代官僚机构权力的增强,也预示了十年后纳粹政权的恐怖:人们在没有做错任何事情的情况下被捕并被送往集中营,遭受各种形式的痛苦甚至死亡。正如阿多诺(Adorno)所说:卡夫卡提供了一个“对恐怖和折磨的被应验的预言”(Adorno 1983,259)。
不幸的是,卡夫卡的故事在今天仍然具有现实意义。这不仅是因为仍然存在不透明的官僚机构和专制政权,它们毫无正当理由地逮捕人,有时甚至未经审判就进行逮捕;或者因为[正如阿伦特(Arendt 1943)和阿甘本(Agamben 1998)早已指出的那样]难民经常遭受类似的命运;而且还因为现在有了一种新的方式,即使是在所谓的“先进”社会中,这一切也可能发生,事实上 已经 发生了:这种方式与技术有关,特别是与人工智能有关。
2020年1月的一个星期四下午,罗伯特·朱利安·博尔查克·威廉姆斯(Robert Julian Borchak Williams)在他的办公室接到底特律警察局的电话:要求他前往警察局接受逮捕。因为他没有做错任何事,所以他就没有去。一小时后,他在自家门前的草坪上当着妻子和孩子的面被逮捕了。据《纽约时报》( New York Times )报道:“警察不肯说原因”(Hill 2020)。后来,在审讯室里警探给他看了监控录像中的一个画面,有一名黑人男子在一家高档精品店行窃,然后问他:“这是你吗?”威廉姆斯是非裔美国人,他回答说:“不,这不是我。你认为所有黑人看起来都一样吗?”直到很久以后,他才被释放,最后检察官也道了歉。
发生了什么事?《纽约时报》记者和她咨询过的专家怀疑“他的案件可能是已知的第一个关于美国人因人脸识别算法的错误匹配而被错误逮捕的案件”。使用机器学习形式的人工智能人脸识别系统存在缺陷,而且很可能还存在偏见:它对白人男性的识别效果好于其他人群。因此,该系统会产生误报,就像威廉姆斯的案例一样,再加上警察糟糕的工作,这就导致人们在没有犯罪的情形下被逮捕。“我猜是电脑搞错了”,一名警探说。在21世纪的美国,小说中的约瑟夫·K.就是黑人,他们因算法错误而遭指控却毫无解释。
这个案例所揭示的不仅是计算机会犯错误,而且这些错误会对特定的人及其家人造成严重后果;人工智能的使用还可能会加剧现有的系统性不公正和不平等。针对威廉姆斯先生这样的案例,我们可以说,所有公民都有权在对他们作出决定时得到解释。此外,这只是人工智能产生政治意义和影响的众多方式 之一 ,有时是有意的,但大多数是无意的。这个特殊案例提出了有关种族主义和(不)公正的问题——两个当前的问题。但是,关于人工智能和相关技术的政治问题,远不止这些。


