《北大互联网法律通讯》（三）：军用机器人与战争

翁岳暄
北京大学法学院

Peter W. Singer与 Joanne J. Myers在其书“Wired for War”中提到机器人与智能科技将大幅度改变21世纪战争的方式 [1] , 特别是军用无人机器系统不仅仅影响“战争如何进行?（How of War Fighting）”更涉及到“谁来参与战争?（Who of War Fighting）”的核心问题 [2]。 无人机是机器人军用化浪潮里面最受到注目的一种应用, 透过远距遥控军方人员的生命安全能获得确保,美国自1995年陆续开发了MQ-1捕食者（Predator）、 RQ-4 全球鹰（Global Hawk）、 MQ-9 死神（Reaper）等先进无人侦查机/攻击机并且直接投入阿富汗与伊拉克战事之使用。另一方面，自2010年后英国、欧陆与中国等国家也加速迎头赶上，陆续推出“雷神（Taranis）”、“神经元（nEUEOn）”、“暗剑（Dark Sword）”与“利剑（Sharp Sword）”等先进军事用无人飞机 [3]。

2013年12月13日也门中部拉达镇（Radaa）一列婚礼车队突然遭到美军无人机发射2枚火箭攻击，其中一枚火箭命中车辆，另一枚则击中车辆附近，总共造成17人丧生。根据当地官员描述，死者大部分是平民百姓 [4]。 根据联合国特别报告员Ben Emmerson引述巴基斯坦政府统计数据指出美军自2004以来在巴基斯坦境内实施的无人机攻击行动一共造成约2200人死亡，其中至少400人是平民，另外200人可能属于非战斗人员 [5]。 相较于美国政府官员宣称“采用无人机攻击一切合乎国际法”以及“无人机的精准打击与常规导弹相比能够减低不必要的伤亡人数”等说法 [6] ，以联合国为首的组织机构则质疑用国家安全为理由隐瞒具体伤亡数字和选择打击目标过于宽松等做法皆可能与国际人道的原则产生冲突。然而无人机所衍生的法律与伦理难题可能不仅限于联合国专家所指责的两点而已。

Peter Singer表示自亚里士多德以来的伦理学乃至二战后建立的日内瓦公约体系皆以人的意图和行动为规范的重心, 但远程遥控却使得操控者的意图和机械的行动相隔千里之遥, 法律与伦理对其行为施加控制的复杂性和困难度将增大，因此而产生了所谓的“距离问题(The Distance Problem)” [7]。 岸川真（Shin Kishikawa）指出自第二次世界大战之后兵员的战斗力与杀敌力呈现飞跃式的成长，这与教育训练方式有关，特别是附带条件式将敌人人格否定的洗脑教育。他认为这种训练方式加上侵略性的攻击心理在使用无人机时将很可能产生 “过度杀伤（Over Kill）”的结果 [8]。 Daniel Howlader与James Giordano则认为无人机的出现与使用将因为降低发动战争的门坎进而彻底改变未来战争本质 [9]。 Pericle Salvini指出使用无人机可能产生“道德开脱（Moral Disengagement）”的伦理隐忧，他引述Robins的论证表示对于经验的发生而言，接受灾难性或混乱性的基础能力是必须的，但是无人机这种利用人工视觉、远程操控的方式躲在敌人看不到且无法加以伤害的地方，完全避开了疼痛与苦难却也避开了经验，进而造成 “道德开脱”的疑虑 [10]。 Kahn则定义了所谓的“无风险战争（Risk Free War）”概念, 无人机的操纵员在整个过程中完全没有任何威胁只消从屏幕中寻找确认目标并且给予打击, 这和传统的交战行为之基本精神是违反的, 至少在以往战争中士兵还有面对敌人的风险与压力, 但是现在却完全消失了 [11]。 Robert Sparrow观察到虽然无人机能够减少驾驶员肉体上受伤的风险，但是在心理上却反而可能承受额外的压力，例如受限于机体的性能，驾驶员只能目睹在真实战场上战友伤亡、平民死伤或涉及战争犯罪行为却无力及时阻止 [12]。 Marcus Schulzke则认为将机器人科技投入传统战争的结果可能是适得其反的，他分析苏联入侵阿富汗、英国在北爱尔兰的军事镇压以及美国入侵越南等军事行动，发现胜利关键在于如何获取地方支持，然而机器人与人类士兵相比完全缺乏社交能力，并且带给当地人民疏离感和压迫感，因此成为在人口过度集中的现代社会里使用无人机的潜在问题 [13]。

但是无人机最大的问题还是在于由“Human in the Loop”过渡到“Human out the Loop”中间是否需要一套完善的法制作为其后盾? 2013年联合国海恩斯特别报告员公开呼吁以美国为首的国家应该先暂停无人机的开发并等待联合国拟定相应的管制计划后再继续对无人机的生产与使用 [14] , 该组织预计于2014年春在瑞士日内瓦UN人权理事会召开会议, 讨论是否仿照一战时期透过订立毒气禁止公约的模式来管制无人机 [15]。

与无人机议题紧接相关的是“致命性自律机器人(Lethal Autonomous Robots)”，它的定义是指能够自动执行任务并且握有杀伤力开火最终决定权的机械, 在搭配相关升级控制软件的情况下无人机可以成为致命性自律机器人, 但是这种机器人却不限于无人机, 应用更加广泛。2007年10月在南非发生一起 “机器人化”自动控制的厄立空防空炮（Oerlikon 35 mm Twin Cannon）突然误击军事人员事件而造成9人死亡14人受伤的不幸结果 [16]。 此事件发生后对于如何制约致命性自律机器人使用的讨论也逐渐增多，Noel Sharkey提出一个关键伦理问题在于机器人没有能力“分辨（Discrimination)”士兵与平民, 然而这却是日内瓦公约的最低要求 [17] , 同时这种机器人也缺乏开火“比例(Proportionality)”的掌控 [18]。 Patrick Lin也指出在（1）机械自主能力日益增加；（2）环境的复杂性与非预期的使用；（3）设计人员无法预期机械的表现等原因下，对于致命性自律机器人的道德必须超脱出现有的“操作性道德（Operational Morality）”并进入“功能性道德（Functional Morality）”，而实践功能性道德的方式是建立一种机制使机器人能够在第一时间内对于牵涉道德的行动自行做出决策。他从Top-Down与Bottom-Up两个角度分别思考Programming Morality的可能性，他进一步指出Top-Down角度最大的难题在于人类专家如何适宜地表达与定义道德的内容，而Bottom-Up角度的难题则在于人工神经网络自行学习得到的行为模式通常没有办法清楚地解释其动机缘由，有如一个“黑匣子” [19]。 此外，如先前提到Ron C. Arkin以道德调节器、人机接口、责任监督者三者构成的“嵌入式伦理”框架 [20] ，在2008年纽约时报的专访中Arkin表示自己并不认为自动机器人在战场上能够完美地表现合乎伦理道德的行为，但是他确信至少机器人的行为能够比人类士兵更加理性 [21]。 John P. Sullins则延续Arkin的假设探讨究竟机器士兵会否比人类士兵在战场上有更加理性和合乎伦理道德规范的表现? 他指出人类对于“义战（Just War）”的思想与实践有着很长的一段历史，然而战士在对于这种命令的服从上却总是抓襟见肘。因此对于机器人自动服从道德规范一事他抱持怀疑的态度 [22]。

最后，致命性自律机器人的核心议题除了如何在分辨敌我、掌握比例分寸的基础上建构出遵守道德规范的机制之外，其法律责任归属也是必须加以关注的问题所在，Robert Sparrow分别从程序设计师, 指挥者与机器本身三个不同角色来探讨这个问题, 通常程序设计师及其团队只在本身与有过错的情况下对机器人的不当行为负起责任，理由有二：（1）一般厂商会告知持有者/使用者系统误射击的可能性；（2）自律型机械具备学习能力，一旦投入使用将随着与环境的互动的增加而逐渐脱离原初的设定。至于指挥者下达命令给机械，却在执行过程中造成误击的结果是否应该负责? 而其中的争议在于究竟自律性（Autonomy）的范围仅止于完全按照指挥者命令机械式地执行或者在执行过程中涉及到很多必须由机械来诠释指挥者命令的内部决策过程? 就后者而言Sparrow倾向认为不需要由指挥者来承担责任。至于机械本身的责任承担，尽管Luciano L. Floridi and J. W. Sanders认为机械有可能承担责任 [23], 但Sparrow还是认为并不适当，理由在于除了我们不清楚如何让机器来承担责任之外，这是否意味着可以对机械施加惩罚或奖励? [24] Marcus Schulzke则质疑Sparrow对于自律型机器人责任承担的主张，他认为Sparrow忽略了军事体系阶层化结构对于责任分摊与行动者自律性的限制，只要自律型机械在“军事阶层（Military Hierarchy）”体系中相应的责任与自动化程度得以判断，那么要求相关程序设计师、指挥者甚至机器来承担责任皆是可能的，不过Schulzke也补充说明所谓的机器责任承担具体上是要求程序设计师与指挥者代位承担相关责任，他认为即便机械具诠释指挥者命令的高自律性相关人员还是要负责，因为他们必须对于让机械如何展现其自律性的决定负起责任 [25]。

对于复杂的自律型机器人责任分配问题，美国海军水面战争中心（US Navy - Naval Surface Warfare Center）工程师John S. Canning直接提出了一个简化方案，他的奇想是“让机器人去打机器人, 人去打人（Let Machines Target Other Machines, and Let Men Target Men）” [26]。 换言之，机器可以对于其它机器径行发动攻击，但是如果目标是人类的话无论如何必须有人类监督者的授权方可发动攻击，在Canning的架构下至少很大程度上简化了人类指挥者与机械之间责任分配的模糊性。

参考资料
[1] Peter W. Singer , Joanne J. Myers (2009) Wired for War: The Robotics Revolution and Conflict in the 21st Century, New York: Penguin Press
[2] 翁岳暄：《服务机器人安全监管问题初探—以开放组织风险为中心》, 北京大学法学院博士研究生学位论文, 2014年5月
[3] 大西祥一、岸川真（2013）世界最先端兵器：衝擊の真相：ロボット兵器の全貌, 東京：宝島社、pp. 4-16
[4] Unsigned Editorial (2013) 美无人机攻也门 十多名平民死, 雅虎-奇摩新闻（2013年12月13日）Available via http://tw.news.yahoo.com/美无人机攻也门-十多名平民死-100502699.html (Accessed at December 13, 2013)
[5] Unsigned Editorial (2013) 联合国报告痛批美国狂轰滥炸 瞒无人机致死数据, 新浪网(2013年10月18日), Available via http://dailynews.sina.com/bg/news/int/chinanews/20131018/19205080932.html (Accessed at December 13, 2013)
[6] Unsigned Editorial (2013) 巴基斯坦要求美国停止无人机空袭 称5年打死2227人, 国际线上 (2013年10月31日) Available via http://big5.chinabroadcast.cn/gate/big5/gb.cri.cn/42071/2013/10/31/6071s4303970.htm (Accessed at December 13, 2013)
[7] Peter W. Singer (2010) The Ethics of Killer Applications: Why Is It So Hard To Talk About Morality When It Comes to New Military Technology? Journal of Military Ethics, vol. 9, no.4, pp. 299-312
[8] 大西祥一、岸川真（2013）世界最先端兵器：衝擊の真相：ロボット兵器の全貌, 東京：宝島社、pp. 40-43
[9] Daniel Howlader and James Giordano(2013)Advanced Robotics: Changing the Nature of War and Thresholds and Tolerance for Conflict - Implications for Research and Policy, The Journal of Philosophy, Science & Law, vol. 13, pp. 1-19, May 2013
[10] Pericle Salvini (2007) The ethical and societal implications of presence from a distance, 10th Annual International Workshop on Presence, October 25-27, 2007, Barcelona, Spain
[11] Robert Sparrow (2010) The ethical challenges of military robots, in Ethical and Legal Aspects of Unmanned Systems: Interviews, eds Gerhard Dabringer, Katholiches Militarseelsorge Osterreich, Vienna, Austraia, pp. 89
[12] Robert Sparrow (2009) Building a Better WarBot: Ethical Issues in the Design of Unmanned Systems for Military Applications, Science and Engineering Ethics, vol. 15, pp. 169-187
[13] Marcus Schulzke (2011) Robots as Weapons in Just Wars, Philosophy & Technology, vol. 24, pp. 293-306
[14] Unsigned Editorial (2013) 联合国海恩斯特别报告员：关于冻结“自主机器人杀手”研发活动, 北京大学法学院互联网法律中心亚洲机器人法律工作组专访
[15] Unsigned Editorial (2013) UN Rights Experts Call for Transparency in the Use of Armed Drones, Citing Risks of Illegal Use, UN News Centre (2013-10-25) , Available via http://www.un.org/apps/news/story.asp?NewsID=46338&Cr=terror&Cr1=drone#.Uwl2q_mSxW (Accessed at December 13, 2013)
[16] Noah Shachtman (2007) Robot Cannon Kills 9, Wounds 14, Wired.com (2007-10-18) , Available via http://www.wired.com/dangerroom/2007/10/robot-cannon-ki/ (Accessed at December 13, 2013)
[17] Noel Sharkey (2008) Grounds for Discrimination: Autonomous Robot Weapons, RUSI Defense Systems
[18] Noel Sharkey (2009) Weapons and Indiscriminate Lethality, fiff-kommunikation, pp. 26-29
[19] Patrick Lin (2008) Autonomous Military Robotics: Risk, Ethics, and Design, Report for US Department of Navy, Office of Naval Research
[20] Ron C. Arkin (2008) Governing the Lethal Behavior: Embeddeding Ethics in a Hybrid Deliberative/Reactive Robot Archeture, In: Proceedings of the 3rd ACM/IEEE International Conference on Human-Robot Interaction (HRI)
[21] Cornelia Dean (2008) A Soldier, Taking Orders From Its Ethical Judgment Center, The New York Times (2008-11-25), Available via http://www.nytimes.com/2008/11/25/science/25robots.html?pagewanted=all&_r=0 (Accessed at December 13, 2013)
[22] John P. Sullins (2010) RoboWarfare: can robots be more ethical than humanson the battlefield?, Ethics and Information Technology, vol. 12, pp. 263-275
[23] Luciano L. Floridi and J. W. Sanders (2001) On the Morality of Artificial Agents in R. F. Chadwick, L. Introna, and A. Marturano (eds.), Proceedings of the Computer Ethics: Philosophical Enquiry 2001 Conference: IT and the Body, Lancaster University, 14?16 December, (Lancaster, U.K., 2001), pp. 84?107.
[24] Robert Sparrow (2007) Killer Robots, Journal of Applied Philosophy, vol. 24, no. 1
[25] Marcus Schulzke (2013) Autonomous Weapons and Distributed Responsibility, Philosophy & Technology, vol. 26, pp. 203-219.
[26] Lewis Page (2007) New Laws of Robotics proposed for US kill-bots, The Register.com (2007-4-13) , Available via http://www.theregister.co.uk/2007/04/13/i_robowarrior/ (Accessed at December 13, 2013)

《北京大学法学院博士论文》（2014）：
服务机器人安全监管问题初探: 以开放组织风险为中心 - 翁岳暄

《北大互联网法律通讯 》 机器人伦理特辑（2014）：
（一）机器人 - 历史性的综述 - 翁岳暄
（二）机器人科技，伦理与法律 - 翁岳暄
（三）军用机器人与战争 - 翁岳暄