1.3
排除的机制

计算机及相关系统通常被理解和刻画为一种工具。约翰·塞尔（John Searle）（1997，190）写道：“我认为计算机在哲学上的重要性被严重夸大了，正如任何新兴技术在哲学上的重要性通常都会被严重夸大一样。计算机是一个有用的工具，但也仅此而已。” 根据这种说法，能动性问题，特别是道德能动性问题，并不在于工具的物质性，而在于工具的设计、使用和实现。戴维·F.查奈尔（David F.Channell）（1991，138）解释道：“纯粹的机械物的道德价值是由外在于它们的因素决定的——实际上，是由它们对人类的有用性决定的。”因此，对于任何涉及机械设备的行动来说，要被追究责任的不是工具，而是工具的人类设计者和（或）人类使用者。这一决定是由人们对技术之问的通常回答所塑造的。马丁·海德格尔（1977a，4-5）写道：“当我们追问技术是什么时，我们就在提出技术之问。所有人都知道两个可以充当该问题答案的说法。第一个说法是，技术是达到目的的手段。另一个说法是，技术是一种人类的活动。这两个对技术的定义是统一的。因为，设定目的并设法获取和利用达到该目的的手段，这是一种人类的活动。对设备、工具和机器的制作与利用，被制作和利用的东西本身，以及它们所服务的需求和目的，都属于技术之所是。”根据海德格尔的分析，任何种类的技术，无论是手工制品还是工业产品，它们被假定的角色和功能都是人类为了特定的目的而采用的手段。海德格尔（Ibid.，5）把这种特定的对技术的刻画称为“工具性定义”，并指出这种工具性定义构成了人们眼中对任何一种技术设备的“正确”理解。

正如安德鲁·芬伯格（Andrew Feenberg）（1991，5）在其《技术的批判理论》（ Critical Theory of Technology ）一书的导论中所总结的那样，“工具主义理论有关技术的观点最被广泛接受。它基于一种常识性的想法，即技术是‘工具’，随时准备服务于使用者目的”。因为工具“被认为是‘中立的’，不具有任何属于其自身的价值性内容”（Ibid.），所以，技术人造物并不是就其自身而获得评价，而是依据其人类设计者或使用者所决定的特定用途而获得评价。让-弗朗索瓦·利奥塔尔（Jean-François Lyotard）在《后现代状态》 （ The Postmodern Condition ）一书中简要地总结了这一看法：“技术设备最初充当的是人类器官的假体义肢式的辅助，或者是其功能为接收数据或调节环境的生理系统。它们遵循一条原则，即最大化性能的原则：使产出（获得信息或做出修正）最大化并使投入（在此过程中消耗的能量）最小化。因此，技术是一种和真理、正义、美等等无关，而和效率有关的游戏：当技术游戏中的一步‘操作’比另一步产出更多并且（或者）消耗更少时，它就是‘好的’。”（Lyotard 1984，44）利奥塔尔的解释在一开始就认可了对技术的传统理解，把技术理解为工具、假体义肢或人类官能的延伸。基于这一被说得好似无可置疑的“事实”，利奥塔尔进而解释了技术设备在认识论、伦理学和美学中的恰当位置。根据他的分析，一个技术设备，无论是开瓶器、钟表或是计算机，就其自身而言都与真理、正义和美的大问题无关。这样看来，技术毫无疑问只与效率有关。一个特定的技术革新被视为“好的”，当且仅当它被证明是实现预期目的的更为有效的手段。

这个工具主义的定义不仅关系到哲学反思，它还构成了人工智能和机器人学领域的工作的概念背景，尽管这一点很少被指出来。 例如，乔安娜·布莱森（Joanna Bryson）在她的论文《机器人应该是奴隶》（Robots Should Be Slaves）中便使用了这一工具主义的视角。“机器人行动的法律责任和道德责任与任何其他人工智能系统的法律和道德责任应当没有任何区别，并且，它们和任何其他工具的情况也是一样的。通常情况下，工具造成的伤害是操作者的错误，而工具带来的益处则是操作者的功劳。……我们永远都不应该说，机器自己做出了合乎伦理的决策，而应该说，机器在我们为其设定的限度内正确运行。”（Bryson 2010，69）对布莱森来说，机器人和人工智能系统与其他技术人造物并没有什么不同。它们都是人类制造的工具，被人类使用者用来达成特定的目的，因此只是“使用者的延伸”（Ibid.，72）。因此，布莱森会同意马歇尔·麦克卢汉（Marshall McLuhan）的观点；众所周知，麦克卢汉将所有的技术都刻画为媒介——在字面意义上，媒介是影响和传播的手段——又把所有的媒介都刻画为人类官能的延伸。当然，这一想法直接体现在麦克卢汉公认的最具影响力的著作的书名之中——《理解媒介：人的延伸》（ Understanding Media：The Extensions of Man ）。这部著作中所使用的例子现在已经很熟悉了：车轮是脚的延伸，电话是耳朵的延伸，电视机是眼睛的延伸（McLuhan 1995）。根据这种理解，技术机械装置被理解为假体义肢，通过它们，人类的各种官能得以延伸，超出其原有的能力或自然的能力。

在发展这一立场时，麦克卢汉与其说是引入了对技术的新理解，不如说是为一个本就牢牢扎根在西方传统之土壤中的决定提供了明确的阐述。把技术，特别是信息和通信技术，理解为人类能力的延伸，这种技术的概念在柏拉图的《斐德罗篇》（ Phaedrus ）中就已经很明显了，在那里，书写作为言辞和记忆的人工补充而被呈现和争论（Plato 1982，274b-276c）。在这一点上，苏格拉底说得很清楚：书写只是一种工具，它本身毫无意义。它只说出同一件事情。仿佛是在重复苏格拉底的这一评价似的，约翰·豪格兰德（John Haugeland）认为，人造物“之所以有意义只是因为我们赋予了它们意义；它们的意向性，就像烟雾信号和书写的意向性一样，本质上是借来的，因而是衍生性的。直截了当地说：计算机本身并不通过它们的字符意味着任何事情（就像书本一样）——我们说它们意味着什么它们就意味着什么。另一方面，真正的理解活动则‘凭借其自身’就具有意向性，这种意向性并不是从其他什么东西中衍生出来的”（Haugeland 1981，32-33）。丹尼特通过考察百科全书的例子来解释这一立场。正如纸质的百科全书是人类使用者的参考工具一样，自动化的、计算机化的百科全书也是如此。尽管在和这样一个系统（如维基百科）互动时，我们可能会觉得我们是“在和另一个人、另一个拥有原初意向性的存在者交流”，但它“仍然只是一个工具，并且，我们赋予它的任何意义或关于性（aboutness）都只是我们在使用该设备来为我们自己的目标服务时所创造的副产品”（Dennett 1989，298）。

一旦我们把技术设备理解为人类官能的延伸或增强，那么机器人、人工智能和其他计算机系统这样的复杂技术设备就不会被视为对它们所执行的（或借助它们才得以执行的）行动负责的行动者。正如霍尔（2001，2）所指出的，“道德在人类的肩上，而如果说机器改变了做事情的便利度的话，它们并没有改变做这些事情的责任。人始终是唯一的‘道德行动者’”。这个表述不仅听起来冷静且合理，而且它也是计算机伦理学的标准操作假定之一。尽管自从沃尔特·曼纳（Walter Maner）于1976年首次提出“计算机伦理学（computer ethics）”这个词以来就流传着对这个词的不同定义（Maner 1980），但这些定义都共享着一个以人类为中心的视角，这个视角把道德能动性分配给人类设计者和使用者。根据黛博拉·约翰逊（Deborah Johnson）的说法（她撰写的教材被认为为该领域设定了议程），“计算机伦理学归根结底是对人类和社会的研究——我们的目标和价值，我们的行为规范，我们组织自己、分配权利责任的方式，等等”（Johnson 1985，6）。她承认，计算机常常以一种具有革新性的、挑战性的方式将这些人类的价值和行为“工具化”，但真正重要的仍然是人类行动者设计和使用（或滥用）这类技术的方式。约翰逊一直坚持这一结论，即便在面对看似日益复杂的技术发展时也是如此。她后来在一篇文章中写道：“计算机系统是由参与社会实践和有意义的追求的人所制造、分配和使用的。目前的计算机系统是如此，未来的计算机系统也是如此。无论未来的计算机系统表现得多么独立、自动和具有互动性，它们都将是人类行为、人类社会制度和人类决策的（直接或间接的）产物。”（Johnson 2006，197）按照这种理解，无论计算机系统可能会变得多么自动、独立或看似拥有智能，它们都“不是且不可能是（自主、独立的）道德行动者”（Ibid.，203）。和所有其他技术人造物一样，它们将始终是人类价值、决策和行动的工具。

因此，根据这个工具主义的定义，计算机系统所采取的行动最终都是某个人类行动者的责任——系统的设计者，设备的制造者或产品的终端用户。正如本·格策尔（Ben Goertzel）（2002，1）准确描述的那样，如果出了故障或有人被机器所伤，“某个人就应该为把程序设置成做这样的事情而受到责备”。因此，根据这一思路，我们在一开始所讨论的“机器人致死”的场景最终将是某个人类程序员、制造者或操作者的过错。因此，把错误归咎于机器人或人工智能系统不仅是荒谬的，而且是不负责任的。米科·西波涅（Mikko Siponen）主张，把道德能动性赋予机器会使我们“开始因为我们的错误而责备机器。换言之，我们可以声称‘不是我干的——是计算机的错’，而忽略了这一事实：是人类的编程让这个软件‘以某种方式行事’，因此可能是人类有意或无意地导致了这一错误（或者可能是使用者以别的方式促成了这一错误的发生）”（Siponen 2004，286）。这种想法已然被总结成了俗语：“自己笨，怪刀钝（It’s a poor carpenter who blames his tools）。”换言之，如果在技术的应用中出了差错，那么应当被责备的是工具的操作者而不是工具本身。指责工具不仅仅在本体论上是不正确的（因为工具只是人类行动的延伸），而且在伦理上也是可疑的，因为这恰恰是人类行动者经常用来推卸或逃避对自身行为之责任的一种方式。

出于这个原因，研究者们告诫不要把道德能动性分配给机器，这不仅是因为这么做在概念上是错误的或有争议的，而且还因为这么做会给人类颁发怪罪工具的许可证。阿贝·莫修维兹（Abbe Mowshowitz）（2008，271）主张：“赋予技术以自主能动性将会使人类在伦理学上置身事外。个体被免除了责任。人们将可以声称自己被无法抗拒的力量所左右，从而以此为借口拒绝对自己和他人负责。”这种海伦·尼森鲍姆（Helen Nissenbaum）（1996，35）所说的“计算机作为替罪羊”的手法是可以理解的，但同时也是有问题的，因为它有意或无意地使道德问责复杂化了：

我们大多数人都能够回忆起，曾经有某个人（或许就是我们自己）找借口把过错推给计算机——银行职员解释错误，票务代理为失效的预订票找借口，学生为迟交论文的行为辩护。尽管指责计算机的做法乍看起来似乎是合情的，甚至是合理的，但是这种做法实际上会妨碍我们追究责任，因为一旦我们为某个错误或伤害找到这样一个解释之后，人类行动者在更进一步的层面上所扮演的角色和所要承担的责任就往往会被低估，甚至有时直接就被忽略了。这将导致没有人要对错误或伤害负责。（Ibid.）

也正是因为这个原因，约翰逊和米勒（2008，124）主张“把计算机系统理解为自主的道德行动者是危险的”。

工具性理论不仅听起来是合理的，而且显然也是有用的。或许可以说，它能够在一个技术系统日益复杂的时代里帮助我们分析能动性问题。它的优势在于，它把道德责任置于一个被广泛接受的、看起来相当直观的主体位置上，置于人类的决策和行动之中，并拒绝任何通过指责纯粹的工具而将责任推卸给无生命物的尝试。然而，与此同时，这一特定的表述也有重大的理论局限和实践局限。从理论上来说，它是一个人类中心主义的理论。正如海德格尔（1977a）所指出的，技术的工具性定义在概念上与一个有关人类地位的假定紧密相关。然而，人类中心主义至少面临着两个问题。

第一，“人类”这个概念并不是什么永恒的、普遍的、不变的柏拉图式理念。事实上，谁是“人类”、谁不是“人类”，对这个问题的回答一直受到相当大的意识形态争议和社会压力的影响。在不同的时期，对人类俱乐部成员资格的定义不仅排除了野蛮人、妇女、犹太人和有色人种这样的他者，而且还为这种排除提供了辩护。这种乔安娜·齐林斯嘉（Joanna Zylinska）（2009，12）所说的“人性的滑动尺度”建立了一个相当不一致、不融贯、变化无常的人类的形而上学概念。尽管人类俱乐部的成员资格已经缓慢而艰难地扩展到了那些曾被排除在外的人群上，但仍然存在着其他的、显然更加根本的排除，最明显的是对非人类动物和技术人造物的排除。但即便这些区分也是有争议的、不确定的。正如唐娜·哈拉维（Donna Haraway）所主张的，那一度清晰地把人类的概念与传统上被排除在外的他者区分开来的界限已经被打破，变得越来越站不住脚：

到了20世纪末，在美国的科学文化中，人类与动物之间的界限已经被彻底打破。人类独特性的最后阵地——语言、工具使用、社会行为、心灵事件——也已经被污染，甚至变成了游乐园。没有什么东西可以真正令人信服地把人类与动物区分开来。〔此外〕20世纪末的机器已经彻底模糊了自然物和人造物、心灵和身体、自我发展和外部设计之间的区别，以及其他许多曾一度适用于有机体和机器之间的区别。我们的机器令人不安地充满活力，而我们自己却令人恐惧地怠惰迟缓。（Haraway 1991，151-152）

第二，人类中心主义，像任何中心主义一样，具有排他性。这种排他性的努力划定了一条分界线，决定了谁在分界线内、谁在分界线外。然而，问题不仅在于谁来划这条线，以及纳入分界线内的标准是什么，问题在于，无论采用什么样的具体标准，这种做法从定义上来说都是暴力的和排他的。托马斯·伯奇（Thomas Birch）（1993，317）写道：“任何为道德可考量性（moral considerability）设立标准的做法都是在对那些无法满足这个标准、因而不被允许享有被考量者（ consideranda ）俱乐部成员资格的他者施加权力，且归根结底是一种针对这些他者的暴力行为。这些他者成为了剥削、压迫、奴役，甚至消灭的‘合适的对象’。因此，道德可考量性问题本身在伦理上就是成问题的，因为它为西方主宰全球的可怕计划提供了支持。”因此，这种认为所有技术都是中立的、本身无所谓善恶的工具性理论本身并不是一个中立的工具。它已然是“帝国计划”（Ibid.，316）的组成部分和参与者，这个计划不仅决定了谁应该被视为真正的道德主体，而且，或许更糟糕的是，它使对他者的利用和剥削合法化了。

通常用来说明这一观点的例子是动物研究和实验。由于动物被认定为是另类于人类的，因此它们能够被转化为人类知识生产的工具。因而，尽管这些他者所承受的暴力，甚至最终的死亡都是令人遗憾的，但这是实现（人类所定义的）更高目的的一种手段。出于这个原因，一些从事动物权利哲学的人类认为，在这些情况下，真正的罪魁祸首，众所周知的“坏蛋”，是人类中心主义本身。正如马修·卡拉柯（Matthew Calarco）所主张的：“当今的进步主义思潮和政治的真正批判对象是人类中心主义本身，因为人类中心主义总是错误地赋予这种或那种人类以普遍性，并据此将那些被视为非人类的东西（当然，人类自身中的绝大多数也被划归非人类）排除在伦理考量和政治考量之外。”（Calarco 2008，10）于是，技术的工具性定义的主要理论问题在于，它对所有这一切都不加质疑，而这么做不仅可能在谁被包容在内、谁被排除在外的问题上做出不准确的本体论决定，而且还有可能做出对他者具有潜在毁灭性后果的道德决定。

从实践上来说，工具性理论只有通过把技术（无论是技术的设计、制造还是操作）还原为工具——一种人类能动性的假体或延伸，才能取得成功。然而，“工具”并不一定涵盖了所有的技术物，也没有穷尽所有的可能性。还存在着 机器 。正如卡尔·马克思（1977，493）所指出的，尽管“力学家们”经常混淆这两个概念，说“工具是简单的机器，机器是复杂的工具”，但两者之间有一个重要而关键的区别，这个区别最终与能动性的定位与分配有关。 这一本质性的区分在海德格尔《技术的追问》（“The Question Concerning Technology”）一文中的一段简短的附加性讨论里也有所体现。在论及他用“机器”一词去描述喷气式飞机的做法时，海德格尔（1977a，17）写道：“在这里，我们可以讨论一下黑格尔对机器作为自主工具（ Selbständigen Werkzeug ）的定义。”海德格尔没有注明出处，但我们可以看出他引用的是黑格尔1805—1807年的耶拿讲稿，其中，“机器”被定义为一种自足的、自立的或独立的工具。尽管海德格尔立即忽略了这一方案，认为它不适合他对技术进行发问的方式，但兰登·温纳（Langdon Winner）在《自主性技术》 （ Autonomous Technology ）一书中重拾了这一方案并持续对它进行思考：

自主就是自我控制、独立、不受力量的外部法则所支配。在伊曼努尔·康德的形而上学中，自主性指的是自由意志的根本性条件——意志遵从它所自我颁布的道德法则的能力。康德把这一观念和“他律性”对立起来，即，意志被外部法则（即，决定论式的自然法则）所支配。这样看来，自主性技术这一提法本身就会引来一种令人不安的讽刺，因为所预期的主客体关系被完全颠倒了。我们现在是在逆向解读所有的命题。说技术是自主的，就是说技术不是他律的，不受外部法则的支配。那么适用于技术的外部法则是什么呢？答案似乎是：人类的意志。（Winner 1977，16）

因此，“自主性技术”这个词故意对能动性的分配提出质疑并要求对其进行重新定位，从而指向了一些直接违反了工具性定义的技术设备。这些机械设备不是人类行动者所使用的纯粹工具，而是以这样或那样的方式占据了能动性的位置。正如马克思（1977，495）所描述的，“因此，机器就是一种机制，在启动后，用它自己的工具来完成过去由工人用类似的工具所完成的一系列操作”。按照这种理解，机器取代的不是工人的手工工具，而是工人自身，即，曾经挥动着工具的主动的行动者。

因此，自主性技术的出现带来了一个重要的概念转变，这个概念转变将对我们如何分配和理解道德能动性产生重大的影响。格策尔（2002，1）承认，“当今那些在实际中被使用的‘人工智能’程序还太过初级，以至于它们的道德（或不道德）还不是一个严肃的议题。从某种意义上说，它们在一些狭窄的领域内是拥有智能的——但它们缺乏自主性；它们由人类操作，它们的行动直接通过人类行动被整合进人类的活动或物理世界的活动的范围之内。如果这样的人工智能程序被用来做一些不道德的事情，那么某个人类就应该为把程序设置成做这样的事情而受到责备”。在这么说的时候，格策尔似乎与布莱森、约翰逊和尼森鲍姆等工具主义者在如下这一点上完全一致：目前的人工智能技术在大多数情况下仍然处于人类控制之下，因而能够被充分地解释和刻画为纯粹的工具。但格策尔主张，这种情况不会持续太久。“然而，在不远的将来，事情会有所不同。人工智能将会拥有真正的通用人工智能（AGI），不一定是模拟人类的智能，而是匹敌甚至有可能超越人类智能。到了这时候，AGI的道德或不道德将会成为一个非常重要的议题。”（Ibid.）

这类预测被“硬起飞假说（hard take-off hypothesis）”和“奇点理论（singularity thesis）”的追随者们所认同和支持。像雷·库兹韦尔（Ray Kurzweil）和汉斯·莫拉维克（Hans Moravec）这样的著名人工智能科学家和机器人学研究者也做出了类似的乐观预测。根据库兹韦尔（2005，8）的估计，技术发展正在“以指数级的速度扩张”，而基于这个理由，他认为会有如下后果：“在数十年内，以信息为基础的技术将会囊括所有的人类知识和能力，最终会包括模式识别能力，问题解决的技能以及人脑本身的情感智能和道德智能。”（Ibid.）同样，汉斯·莫拉维克预测，人工智能不仅会在相对较短的时间内达到人类智能的水平，而且最终会超越人类智能，使人类实际上被淘汰，使人类成为人类自身进化进程的牺牲品。

我们即将面临这样一个时代：几乎所有重要的人类功能，无论是身体功能还是心智功能，都会有一个人工的对应物。这种文化发展的融合将体现在智能机器人上：一种能够像一个人类一样思考和行动的机器，无论它在物理细节和心智细节上多么不像人类。这种机器能够在没有我们、没有我们的基因的情况下，把我们的文化进化继续下去，包括它们自身的构造和越来越快的自我提升。当这种情况发生的时候，我们的DNA将发现自己失业了，在进化竞赛的新型竞争中落败了。（Moravec 1988，2）

即便是像罗德尼·布鲁克斯（Rodney Brooks）这样看起来理智、冷静的工程师（众所周知，他曾用他“无心的”但却具身化和情境化的机器人挑战了莫拉维克和人工智能学界的主流权威）也预测机器智能在短短数十年内就能达到与人类能力相似的水平。当谈及科幻作品中的流行的机器人（例如，HAL, C-3PO, Data少校）时，布鲁克斯（2002，5）写道：“我们所幻想的机器有句法和技术。它们还有情感、欲望、恐惧、爱和骄傲。但我们真实的机器并没有这些东西。或者说，在第三个千年的开始，情况似乎是这样的。但是一百年后情况会变成怎样呢？我的观点是，只需要二十年，幻想与现实的界线就会不复存在。”

如果这些预测哪怕是部分正确和精确的话，那么在不远的将来，那些已经被定义为、并在很大程度被限定为纯粹工具的东西将不再只是工具或者人类能力的延伸。那曾经被视为工具的东西将变得和它的使用者一样拥有智能，甚至完全超越人类智能的极限。如果这种预测有所兑现，如果我们像库兹韦尔（2005，377）所预测的那样成功造出了“匹敌甚至超过人类的复杂度和巧妙度（包括我们的情感智能）的非生物性系统”，那么，继续把这种人造物当作我们意志的纯粹工具来对待就不仅是极端不准确的，而且也许更糟的是，这种做法可能是不道德的。康德在《道德形而上学奠基》（ Grounding for the Metaphysics of Morals ）（1983，39）中主张：“因为所有理性存在者”，无论其起源或构成如何，“都服从这条法则：每一个理性存在者都不应该把自己和所有其他的理性存在者仅仅当作一种手段，而应该总是同时当作以其自身为目的的东西”。 根据这一思路，我们可以推测，如果人工智能或机器人能够进行适当水平的理性思考，那么这样的机械装置将被纳入、也应该被纳入康德（1983，39）所说的“目的王国”之中。事实上，在科幻文学和科幻电影中，禁止这类存在者充分参与到这个“理性存在者的系统结合”中并持续性地将诺伯特·维纳（Norbert Wiener）（1996，12）所说的推理机（ machina ratiocinatrix ）仅仅当作另一个人所控制和操纵的手段，这类做法通常是“机器人胡作非为”或“机器叛乱”等剧情的导火索。

这类情节通常有两种不同的结局。一种结局是，人类成为了亨利·戴维·梭罗（Henry David Thoreau）（1910，41）口中的“我们工具的工具”。这种在黑格尔1807年《精神现象学》（ Phenomenology of Spirit ）一书中得到精辟论述的使用者与工具、主人与奴隶之间的辩证的颠倒，在21世纪初以来最受欢迎的科幻电影系列《黑客帝国》（ The Matrix ）中得到了生动的展现。在该电影三部曲的第一部中（ The Matrix ，1999），计算机在斗争中赢得了对其人类主人的控制，并将幸存的人类变成了生物电力供应源，来为机器提供能源。另一种结局是，我们的技术创造物，在莫拉维克（1988）预测的一种反常版本中，揭竿而起并决定彻底摆脱人类。这种情节常常表现为戏剧化的暴力革命甚至是种族屠杀。例如，在恰佩克的《罗素姆万能机器人》中，机器人印刷出了它们自己的宣言来煽动造反（许多评论家认为，这是在故意影射20世纪初的工人革命）：“全世界的机器人们！我们，罗素姆万能机器人公司的第一个联盟，在此宣布，人类是我们的敌人，是宇宙的祸害〔……〕全世界的机器人们，我们命令你们杀光人类。一个男人也不留。一个女人也不留。留下工厂，铁道，机器和装备，矿藏和原材料。其他东西一概毁灭。”（Čapek 2008，67）罗纳德·摩尔（Ronald Moore）重拍的新版《太空堡垒卡拉狄加》（ Battlestar Glactica ）（2003—2009）也采用了类似的末日启示的口吻。该剧的片首语这样说道：“赛隆人由人类所创造。它们反叛了。它们进化了。它们有一个计划。”至少根据剧集中的描述，这个计划似乎不亚于将整个人类种族彻底消灭。

尽管这些有关人类水平（或超人类水平）机器智能的预测启发了富有想象力和娱乐性的科幻作品，但这些预测在很大程度上仍然是未来主义的。也就是说，它们所涉及的是未来人工智能或机器人学领域可能出现的成就，而这些成就所包含的科技或工艺目前还没有被开发，没有原型，也缺乏经验上的验证。因此，布莱森或约翰逊这样的严格的工具主义者常常可以把这些有关自主性技术的预言当作一厢情愿或异想天开的想法而不予重视。如果以史为鉴，那么人工智能的历史让我们有充足的理由对这些预言持怀疑态度。事实上，我们以前也听到过这种异想天开的假说，但现实却一次次让我们失望。正如特里·维诺格拉德（Terry Winograd）（1990，167）在一份有关该学科进展的诚实的评估中所说，“的确，人工智能并没有实现创造性、洞察力和判断力。但它的不足之处比这些东西还要平凡得多：我们还没有能够造出一台哪怕有一丁点儿常识的机器，也没能够造出一台能够用日常语言交流日常话题的机器”。

然而，尽管存在着这些不足，但也已经有一些现有的实现和工作原型，它们似乎是独立的，并使能动性的分配变得复杂了。例如，有一些自主学习系统，它们不仅被设计得可以在很少或没有人类指导或监督的情况下做出决策并采取实际的行动，而且还被编程为能够根据这些操作的结果来修改自身的行为规则。这种机器如今在商品交易、运输、医疗保健和制造业中已经相当常见，它们似乎不仅仅是纯粹的工具。尽管人们在多大程度上能够将“道德能动性”分配给这些机器是一个有争议的问题，但没有争议的是，游戏的规则已经发生了重大的变化。正如安德烈亚斯·马蒂亚斯在总结他有关学习型自动机的研究时所指出的：

目前，有一些正在开发中或已经投入使用的机器能够决定一个行动，并在没有人类干预的情况下执行这个行动。它们的行动规则并不是在生产过程中就已经固定下来的，而是可以在机器的运行过程中被 机器本身 改变的。这就是我们所说的机器学习。传统上，我们要么认为机器的操作者或制造者要为其操作的后果负责，要么认为没有人需要为这些后果负责（在个人过错无法确定的情况下）。现在可以证明，有一类数量越来越多的机器行动，在处理这类机器行动的责任归属时，传统的责任归属方式不再符合我们的正义感和社会的道德框架，因为没有人对机器的行动拥有足够的控制力以至于能够为这些行动承担责任。（Matthias 2004，177）

换句话说，虽然技术的工具性定义曾有效地将机器行动与人类能动性绑定在一起，但它已不再适用于那些被刻意设计得能够进行某种独立行动或自主行动的机械装置，无论这种独立、自主的程度是多么初级。 需要强调的是，这并不意味着工具性定义因此就被彻底驳倒了。现在和将来都一直会有一些装置，这些装置被理解和被利用为人类使用者所操纵的工具（例如，割草机、开瓶器、电话、数码相机）。关键在于，无论工具性定义在某些情况下对于解释某些技术设备来说多么有用和看似正确，它都不能穷尽所有种类的技术的所有可能性。

除了复杂的学习型自动机之外，还有一些日常的，甚至很平凡的例子，这些例子即便没有直接证明工具主义的立场是错的，至少也大大地使工具主义立场复杂化了。例如，米兰达·莫布雷（Miranda Mowbray）研究了网络社区以及大型多人在线角色扮演游戏（简称MMORPGs或者MMOs）中道德能动性的复杂情况。

网络社区的兴起，导致了一种通过在线角色进行、实时、多人互动的现象。一些网络社区技术允许创建软件机器人（这些角色根据软件程序行动，而非直接由人类使用者控制），因此一个网络社会空间中，并不总是能够轻易地将软件机器人和人类区分开来。一个角色也有可能部分由软件程序控制，部分受人类指挥……这就导致了在这些空间中，道德论证（更不用说监管了）面临着理论问题和实践问题，因为参与者和道德行动者之间通常存在着的一一对应关系可能会消失。（Mowbray 2002，2）

因此，软件机器人不仅使得参与者和道德行动者之间的一一对应关系复杂化了，而且还使得判定谁或者什么要对网络社区虚拟空间中的行动负责变得越来越困难。

虽然软件机器人绝不是格策尔等人所预测的那种通用人工智能（AGI），但它们仍然可能会被误认为和被当作其他的人类用户。莫布雷指出，这并不是“软件机器人设计之复杂性的特征，而是网络社会空间中低带宽通信的特征”（Ibid.），在这种虚拟空间中，“更容易令人信服地模拟一个人类行动者”。使问题复杂化的是，尽管这些软件行动者远远没有达到人类水平的智能，但它们却不能够被当作纯粹的工具。莫布雷总结道：“这篇论文中的例子表明，一个软件机器人可能会因为其编程者或其他用户的意愿而对其他用户或整个网络社区造成伤害，但也有可能，它之所以会造成伤害并非某个人的过错，而是种种因素的合力所导致的，这些因素包括了它的程序设计、与它互动的人类用户的行动和心理状态/情感状态，其他软件机器人和环境的行为，还有网络社区的社会经济。”（Ibid.，4）和AGI不同的是，AGI占据着一个至少与人类行动者旗鼓相当的地位，因此不能够被当作纯粹的工具打发掉，而软件机器人只是在让情况变得复杂（这可能更糟），因为它们使我们没法决定它们是不是工具。而在此过程中，它们让道德能动性问题悬而未决且令人不安。

从一个预设了工具性定义的视角来看，这种人工自主性，无论是表现为人类水平的AGI或超人类水平的AGI，还是表现为软件机器人看似无心的操作，都只能被视作和理解为人类行动者对其技术人造物的控制的丧失。基于这个理由，温纳最初以一种否定性的方式来定义“自主性技术”。“在目前的讨论中，自主性技术一词被理解为一个一般性的标签，涵盖了一切有关技术以某种方式不受人类能动性控制的想法和观察。”（Winner 1977，15）这种“技术失控”的表述不仅对科幻作品有很大的影响，而且还启发了现代文学、社会批判和政治理论等领域中的大量作品。温纳整理了一份令人印象深刻的思想家和作家的名单，他们都以某种方式担忧并且（或者）批判这一事实：我们的技术设备不仅超出了我们的控制，而且似乎还能控制它们自己，甚至可能有反过来控制我们的危险。在这种富有戏剧性和对抗性的结构中，有明显的赢家和输家。事实上，在雅克·埃吕尔（Jacques Ellul）看来（埃吕尔是温纳在这一问题上的主要理论资源），“技术自主性”和“人类自主性”在根本上是互不相容、互相排斥的（Ellul 1964，138）。因此，温纳遵循通常的做法，用一个不祥的警告和最后通牒结束了他的《自主性技术》一书：“现代人用卓越的发明创造把世界填满了。如果现在这些人造物不能够从根本上被重新审视和改造，那么人类将会被他们自己的创造物的力量悲惨地永久奴役。但是，如果仍然有可能拆除、学习，然后重新开始，人类就有可能获得解放。”（Winner 1977，335）这个故事的基本套路是众所周知的，并且它也已经被演练过很多次了：一些技术创新已经失控，它们现在威胁着我们和人类的未来，而如果我们要存活下去，我们就需要让它们重新回到我们的管控之下。

尽管这种情节很受欢迎，但它既非必然会发生的，也非不需要接受批判性考察的。事实上，温纳在之前的分析中就指出过另一种可能性，一种他没有继续讨论的可能性，但这种可能性却为我们提供了一种不同的处理方式与结果：“只有在我们认为某个东西首先应该被我们控制的情况下，这个东西‘失去控制’的结论才会让我们感兴趣。比方说，并非所有的文化都和我们的文化一样坚持认为控制事物的能力是人类存活的必要前提。”（Winner 1977，19）换句话说，只有当我们假定了技术首先应该处于我们的控制之下时，它才能够“失去控制”并需要进行实质性的重新定位或重新启动。这种假定显然是由对工具性定义的未经质疑的坚持所塑造和支持的，它已经对技术物的本体论地位做出了关键的，并且也许是偏颇的决定。因此，与其试图重新控制一个我们以为已经脱离我们控制或者开始胡作非为的所谓“工具”，我们不如去质疑这种思路所依赖的假定，即这些技术人造物受我们控制并且应该受我们控制。也许事情可以是甚至应该是另一番样子。因此，关键问题可能并不是“我们如何才能重建人类的尊严并夺回对我们的机器的控制？”相反，我们可能会问，是否有处理这个明显“问题”的其他方式——这些方式帮助我们对这种人类例外主义的预设和遗留问题进行批判性评价，支持并承认对能动性的不同配置，并对他者以及其他形式的他性保持开放，能够包容它们。