✦+
+
编者按
面对人工智能技术，特别是致命性自主武器系统的飞速发展和广泛应用，如何加强人对自主系统的控制，是一个值得研究和亟需解决的问题。近日，联合国裁军研究所发布了题为《自主武器系统中的人机接口》的研究报告，强调了人机接口在人机交互和人类控制中的重要作用，提出了自主武器系统中的人机接口和人机交互方面的需求，阐释了人机接口的设计方法以及对人员训练的影响，探讨了人工智能系统的可解释性和透明性，并提出未来的工作建议。
中国指挥与控制学会坚持以传播知识、交流思想、启迪未来、促进创新为己任，编译了该报告的主要章节，以飨读者。
摘要
人类对自主武器系统（AWS）1的控制，一直是致命自主武器系统方面的政府专家小组讨论的一个核心议题。
关于控制的含义和如何付诸实施，专家组展开了激烈辩论。近年来，出现了三种主要控制方式，即控制武器的参数、控制使用环境，以及使用过程中通过人机交互加以控制。人们普遍认为通过这三种方式，能够切实可行地对自主武器系统加以限制。
人机接口是操作人员与自主武器系统之间的物理纽带，在人类控制中起着至关重要的作用。通过人机接口，使操作人员能够监视系统，并在必要时使系统停止工作或实施人类控制。这对于形成和保持态势感知，以及对于控制架构，都是非常重要的。
本报告重点介绍了接口在人类控制自主武器系统中所起的几个重要作用，特别是由于此类系统越来越多的使用人工智能（AI）和机器学习（ML），所带来的当前和预期的挑战。
本报告的一些案例借鉴了汽车行业自动化的例子，这些例子在可控性和系统设计方面提供了重要的经验和教训。
本项研究的成果和结论如下：
· 首先，要在自主系统中人机交互的背景下，研究接口的作用，这对操作人员素质提出了更高要求。这种情况有其固有的风险，如对技术的过度信任或信任不足，同时这些风险因AI/ML的使用而进一步加剧。
· 要使接口成为有效的控制手段，它必须具有高度的可用性(也就是说，它的设计和开发，必须使用户能够实现其目标)，而操作人员必须经过充分的训练以便有效地使用它。随着AI和ML在武器系统中的应用，武器系统变得更加复杂(例如，在关键功能中被赋予更多的自主权)，各种接口变得更加复杂，对操作人员的训练要求也越来越高。
· 接口设计方面的最新研究表明，人与AI之间的交互和“人与AI的团队协作”，以及如何将这些纳入到设计过程中，成为人们关注的焦点。随着机器变得越来越复杂，人机交互也必须相应发展。
· 在人员训练方面，需要提供更多的训练课程和方法，使操作人员在面对能够不断学习的系统时，能够建立合适的心智模型，校准自身对系统的信任和期望。
· 在依赖人工智能/机器学习的系统中，为了提升人们对系统的信任，降低系统的不可理解性，可针对AI过程的可解释性和透明性,在接口中嵌入这方面的功能，如可视化技术(比如显示AI部分过程或结论的仪表板)。这些是非常重要的，但也会使人机交互更加复杂，削弱人的控制。
引言
人机接口是操作人员和自主系统之间的物理纽带，也是人类对系统实施控制的一个关键要素。接口结合了硬件和软件，可以包括一系列组件，如带按钮的控制面板、仪表盘和触摸屏。通过接口，操作人员可以监视某个过程(如导航)，修改或配置控制设置，调整参数和指令，或人类控制系统的运行。它们还可以显示关键信息，使操作人员理解系统的状态，以及远程操作时，系统所处的运行环境。
关于人对自主武器系统的控制，政府专家小组在讨论致命性自主武器系统领域中的新兴技术时，经常会提到接口问题。接口很重要，因为它提供了至少两种关键手段，使我们能对系统保持一定程度的控制：（一）使操作人员能够监视系统的行为和动作；（二）如果系统不能按预期的那样执行，则使其停止工作或实施人类控制(例如，通过手动控制)。然而，随着系统更加自主化，接口也变得更加复杂。
本报告分析了接口在实施人类控制方面的作用，介绍了针对自主武器系统进行接口设计和运用时需要注意的几个方面，强调了随着更多支持AI的功能被整合到武器系统中，一些逐渐显现出来的重要趋势。
通常，要使接口成为有效的控制手段，它必须具有高度的可用性(也就是说，它的设计和开发，必须使用户能够实现其目标)，而操作人员必须经过充分的训练以便有效地使用它。随着AI和ML在武器系统中的应用，武器系统的自主能力提升，如何实现这些基本标准也变得更加困难。也就是说，随着武器系统变得更加复杂，各种接口和接口设计变得更加复杂，对操作人员的训练要求也越来越高。
对于接口问题，不能将其作为孤立的能力进行无意义的讨论。因此，本报告将其放在更为宽泛的自主化和人机交互的背景下进行分析。武器系统自主化带来的挑战交织于接口设计、使用和人员训练的方方面面。
本报告首先概述了人对自主武器系统的控制，并对接口在人类控制中的作用作了总体介绍(第1章)。然后，在人机交互的大背景下讨论接口的作用，以及对操作人员的挑战(第2章)。接下来介绍了接口设计的主要方法。对各种方法的描述隐含着人类控制方面的重要考虑：在系统设计上努力增加可用性，但是AI/ML的引入，也使得人机交互支撑技术变得更加复杂(第3章)。除了系统设计，训练是实施人类控制的另一个关键因素。更大的自主性和更复杂的接口为男性和女性以及武装部队的所有成员的训练带来了新的挑战，特别是在使用AI/ML系统的背景下(第4章)。采用AI技术的系统是复杂的，而且系统会不断学习和改变，应对这种复杂性没那么容易。此外，如果这些系统缺乏可预测性和透明性，也会影响人们对该技术的信任和依赖。人们试图通过可解释和透明化的方法(“可解释的人工智能”，或“XAI”)，例如通过可视化技术，来解决这种复杂性。这些工作是很重要的，但仍然存在局限性(第5章)。
1
第一章 人机交互和人类控制
谈及高度自主的系统，人们脑海中可能就会出现独自采取行动的机器画面。但在现实中，迄今为止，不管其自主程度有多高，还有完全独立自主的系统，它们总是具有某种形式的人类控制或监督。由于武器系统完全自主的目标目前既不可行，也不符合军事效率的要求，人机交互仍然是讨论自主武器系统的核心。
人类对自主武器系统（AWS）的控制，一直是致命自主武器系统方面的政府专家小组讨论的一个核心议题。该小组于2019年一致通过的《专家组指导原则》，就反映了这一主题的重要性，特别是原则C，其中指出：
人机交互可能采取各种形式，在武器生命周期的不同阶段实施。在致命自主武器系统领域，应确保基于新兴技术的武器系统的潜在使用符合适用的国际法，特别是国际人道主义法。在确定人机交互的质量和程度时，应考虑一系列因素，包括作战环境以及武器系统整体的特点和能力。
此后，人类控制作为一个关键概念，多年来一直是专家组辩论的核心。尽管在哪些能力需要彻底禁止或不禁止方面存在许多分歧，但缔约国之间达成了广泛的共识，即无论武器系统的自主程度如何，都需要保持一定程度的人类控制。
与作战中自主性相关的几个关键主题（例如责任和问责制、国际人道主义法的适用性）实际上在“人类控制”概念的范围内。这与人工智能、机器学习和机器人技术在民用领域的应用相呼应。在这些民用领域中，围绕“可控性”的讨论成了中心话题，涉及“复杂的技术、人体工程、法律、道德和组织因素”。
对于自主武器系统，提炼其中人类控制的含义及参数一直是一项具有挑战性的工作，并且由于系统和作战环境之间的差异，使该问题进一步复杂化。不过，人们通常提出的具体的人类控制措施，主要包括系统设计和使用方面的考虑。这种控制措施的分类，表明了实施人类控制的两种不同但又相辅相成的方式，即武器系统本身的设计（包括硬件和软件要素）和使用过程中的人类控制。
人机接口（HMI）对实现人类控制至关重要。它涵盖了系统设计方面的标准，也包括使用方面的标准。
对于远程（有时非常遥远）控制的无人系统，人机接口的作用特别重要。操作人员与机器之间的感官连接就是以人机接口作为中介的。
实现自主系统的可控，并非只能通过接口，也不仅限于操作人员手动控制机器的能力。但是，作为人与机器之间的纽带，接口对于控制自主武器系统至关重要，对系统的合法性使用有直接影响。虽然在系统设计中可以通过多种方式、分散运用控制参数（例如，目标类型等），但通过接口，使操作人员能够监视系统，在其他形式的控制出现问题或实际情况发生变化，“预先规划的假设条件无效”时进行干预。
在ISO标准ISO 9241-110：2020中，用户接口被定义为“交互式系统的所有组件构成的集合。为用户提供信息和控制，以使用交互式系统完成特定任务”。
接口是人机系统的子系统，是“操作人员与机器交互的窗口”。接口包括许多组件，这些组件因系统而异，例如输入控件（例如，按钮和复选框）、导航组件、信息组件等。
一般来说，人机接口有助于输入和输出：操作人员将信息输入技术系统，输出结果表明输入产生的影响。例如，在打击目标时，某种自主武器系统的输入-输出环路可能需要操作人员通过接口菜单将某些坐标输入系统。该系统会反馈提供自己的坐标和评估信息，例如关于附带损伤或基于操作程序的其他反馈（输出）。
1.2.1 态势感知
人机接口在形成态势感知方面发挥着重要作用。态势感知是人机交互的核心，尤其是在动态环境中。态势感知受个人和组织因素（如压力、工作量、任务切换要求或团队动态）以及系统因素（如系统能力（如传感器收集相关数据的能力）、系统接口）的影响。接口设计的质量可以直接显著改进态势感知。
足够的态势感知水平，还有助于操作人员意识到，例如，某种情况超出了系统的自动化处理能力，或者自动化执行不正确。
1.2.2 理解自主武器系统的状态和行为
接口对于表示自主系统的关键控制特性至关重要，包括系统的可观察性、可预测性和可引导性。
· 可观察性是指观察和监视系统状态的能力
· 可预测性是指理解系统的行为
· 可引导性是指对系统施加影响的能力
许多技术文献对于控制要素有不同的分类，但“可观察性-可预测性-可定向性”的目标综合了对武器系统自主能力和接口设计的基本要求。
2
第二章 自主武器系统的人机接口和人机交互
人机接口不是一种孤立的能力，对于其在人类控制中的作用，只有在人机交互的框架内才能理解。本章特别关注在更宽泛的自动化和自主化背景下考察对人提出的素质需求，并结合接口的使用，考察接口所起的作用。
自主性的引入带来了对人员能力素质要求方面的重要变化。开发有效的系统不仅仅是工程和技术进步的问题。更是人员方面的问题。“自主作战最有问题的是人员方面，或人机集成”。
即使操作人员“仅仅”负责监督一个自主系统，他们也面临着许多挑战。这些挑战可能来自数据过载、系统的不可理解性、训练不足、接口设计没有考虑到用户的实际需求等等。
为了降低军事环境中人机交互方面的一些风险，有人建议接口需要保持用户的认知参与，这一点已被致命性自主武器系统政府专家组所接受。
在自主系统中保持人的认知参与是具有挑战性的，至少有两个原因：
第一个原因是，当被赋予监督角色时，人们根本无法持续、一致地保持注意力。期望操作人员持续保持警惕（这是在适当的时候进行干预所必需的）也是不合情理的。将一个相当被动的角色委托给操作人员，很可能会使他们脱离实际，从而难以保持警惕。正如一位专家解释的那样，“通常在[指挥和控制]中心，一切如常，然后突然发生了什么事情，你需要回到相应的认知回路。但无论这个人机接口有多好，你都很难理解当前的情况”。
人们提出了一些通过接口设计，保持较高警惕的解决方案。英国国防部开发、概念与条令中心的一份报告表明，可以通过优化接口以支持这一目标，包括要求操作人员1）搜索已确定的对象（这可以增强心智方面的参与），2）探询相关的事物，如边界或异常。
可以通过文本消息和警报等功能，提示操作人员检查系统状态。然而，让操作人员保持警惕的最终办法在于让其从事有意义的任务，“而不是去后端”。虽然通过训练课程，可以提高操作人员监督系统的能力，但将（有意义的）任务分配给人类操作员，仍然是使其保持认知参与的关键。
第二个原因可以用人机交互中固有的挑战来解释，包括“自动化自满症”的挑战，即随着某些作业实现自动化，人的注意力转移到其他任务上，或者因对系统模糊或不准确的期望，造成的注意力缺失。其中一些挑战源于所谓的“自动化难题”。该理论认为人类警惕性的丧失与系统增强的自动化和可靠性成正比：“系统的自动化程度越高、越可靠和越鲁棒，监督自动化系统的操作人员就越不可能意识到关键信息并能够在需要时进行手动控制”。
当高度自动化和高度可靠的系统出现故障时，会给操作员带来更加复杂的挑战。因为高度自动化会增加人们对系统的依赖，同时也会使系统更难以手动恢复。这被描述为“伐木工人效应”，它反映了高可靠性的好处和随之而来的故障成本之间的权衡，类似于森林中的树木：“它们越高，落得越远”。在自动化研究领域，作为造成人员技能退化的风险，这种情况人们已经讨论了二十多年，尤其是第一次故障之前长时间正常运行的高性能自动化系统。在这种情况下，操作人员开始广泛依赖系统，过度信任它，甚至变得自满。“信任校准”是指“一个人对自动化（系统）的信任与（系统）自动化能力之间的一致性”，可以表现为过度信任，反过来也可以表现为信任不足。
接口设计对其可用性至关重要，因为它“可以直接影响操作员完成任务的能力和愿望，以了解当前情况，做出决策，以及监督和向机器人系统提供高层级的命令”。例如，对侦察任务无人机控制的研究表明，操作人员希望“驾驶摄像机”，这意味着操作人员更希望能够将摄像机定位在需要的位置以实现其任务目标，而不是控制无人机及其系统。因此，在设计用户接口时，取消了对无人机横摇、俯仰和偏航的直接控制。
许多地方都有关于自主武器系统设计的一般原则。例如，美国国防部指令3000.09规定，“自主和半自主武器系统的人机接口应：1.经过训练的操作人员很容易理解；2.可根据反馈信息跟踪系统状态；3.为经过训练的操作员清晰的操作程序以激活和停用系统功能”。
美国在致命性自主武器系统政府专家组会议上多次阐述了这项建议。2019年版政府专家组报告将“易于理解的人机接口和控制”与“严格测试和评估系统”和人员训练等措施一道列为降低风险可行途径。
然而，关注于使接口“清晰”或“易于理解”，有可能会被误解为“简单”。这可能会导致人们将注意力转向微观人机工程，或显示系统中的元素，如颜色、字体大小等，尽管这些元素很重要，但“不是工作的起点”。通常，显示功能需要关注“任务相关信息”的控制，同时最小化“任务无关信息”。然而，在复杂系统中，感知并不局限于来自屏幕的数据。有一种观点，认为“通过适当的系统和接口设计，可以把技术和战术复杂性降低到可管理的水平”。这种观点受到认知系统工程专家的质疑，他们认为这种方法不会降低复杂性，而只是向用户隐藏它。
这并不意味着解决之道在于显示系统的复杂性，而是必须满足系统接口设计的其他条件，才能有助于增强的人类的能力和实施控制。
与自主武器系统交互的一个基本要求是，在使用之前建立一个良好的系统心智模型（包括了解系统的自动化水平，它是否正在正常运行以及是否在预期的参数下运行），理解系统的行为范围，以及系统可能随时间发生的种种变化，这是基于机器学习的系统的一个关键方面。这些需求必须反映在接口设计和训练要求中。
3
第三章 人机接口设计方法
本章概述了高度自动化和自主系统中的接口设计方法，从“以人为中心的设计”开始，然后是“以交互为中心”的方法。随着关于人-机团队或人-AI团队的讨论越来越多，接口设计变得更加复杂。
人-系统集成（HSI）源于20世纪80年代中期，处理系统设计和实现中的人因因素。它是一种“全系统”方法，着眼于跨系统集成，包括人、技术、运行环境以及这些要素之间的接口。如本章所述，人工智能和机器学习的引入（以及对人-AI团队的日益关注），揭示了传统或认知系统工程方法的局限性，以及它们无法解决新系统需要如何适应的问题。
对接口设计人员的两个一般性要求是：（1）了解各种任务和领域的机器人操作人员需要知道什么；（2）确定如何以一种综合的方式呈现信息，以支持态势感知和决策。
将操作人员需要知道的内容集成到流程中，是以人为本的设计的基础。该范式出现于20世纪80年代，旨在解决传统的、以技术为中心的标准范式中的缺陷。在以技术中心的范式下，接口首先反映的是创建系统的工程师们认为重要的内容，或他们认为相关的内容。
相比之下，以人为中心的设计“聚焦于系统的使用，应用人因因素、人机工程学和可用性方面的知识及技术，使交互式系统更具可用性”。以人为中心的设计，无论是以士兵为中心、以客户为中心还是以用户为中心，都寻求“围绕人如何工作”优化接口，而不是强迫人们改变工作方式以适应系统。它将操作人员视为“与传感器或底层代码一样的系统组件”，必须把操作人员的能力纳入到设计中。
在实践中，以人为中心的设计遵循一个迭代过程。该过程在接口开发之前就开始了，需要通过系统的“增量式开发和迭代式改进”来整合设计和评估工作，基于输入和反馈，理解用户，并从一开始就集成他们的观点。在此过程中，系统中可能会出现新的属性，或者人们可能会以不同的方式使用系统。这将影响设计中的几个选择，包括操作员的认知负荷量、他们对系统的依赖程度，以及何时使用或何时关闭某些功能。简而言之，这是一个“基于证据的进化式修补”过程。
随着各种自主功能的增多，对以人为本设计的提出了更多需求，以支持操作人员理解系统的功能。除了高效呈现决策所需的信息外，人们还建议接口必须包括与自动化状态相关的提示（包括各种模式和系统边界条件），对模式转换的支持（例如，对转换到手动控制的必要支持）以及系统的透明度，以提供系统行为的可理解性和可预测性。
从21世纪10年代开始，新的智能系统设计方法开始关注人与机器之间的交互和相互依赖关系。
严格来说，交互始终是设计过程的一部分，只不过表现为不同的形态，“以人为本的设计”的基本原则并没有被抛弃。然而，过去十年，这方面的研究更专注于人机交互的协作方面，而且现在的技术可以更快地适应系统学习之需。最近兴起的一种认识更是佐证了这种演变，即构建有效的自治系统依赖于一种成功的人-自主系统或人-AI团队协作方法，并且随着机器能力的扩展，人机交互能力也必须随之扩展。
例如，人们采用一种名为“协同设计”的方法，评估人机协作对设计的影响，其中的人和系统同时参与完成任务，系统设计要能够支持协调，协作和团队合作。这种设计方法将团队合作视为涉及双方（人和AI系统）的过程，并以两者交互中存在的相互依赖性为前提。
关于人-AI团队合作，人们还提出了“动态任务分配”模型，把风险最大，道德影响最最突出的任务分配给人类，而其他决策则分配给智能代理。这种方法需要把可解释性作为人-智能代理协作和接口设计的一部分。
另一种称为“自适应引导”的方法基于一个类似的原则，即接口需要根据用户的反馈进行调整，并随着时间的推移校准（人的）认知参与、信任和不断变化的期望。在随着时间推移不断学习的系统中，这种方法阐释了人-系统交互中“三个不断变化的部分”：1）操作人员不断变化的心智模型，2）实际情况也在变化，3）系统/人工智能模型本身也在变化。
这需要接口能够同步和表征系统的学习及调整情况。为了实现有效的交互，还需要系统变得更像一个智能代理，即它能够提示操作人员进行干预，例如在某些情况下向他们表达“我需要输入”或“我不知道”。为这种方法提供支持的“自适应学习”技术，还需要系统的用户模型能够引导它检测不一致或矛盾的信号，从而起到保护作用。例如，如果突然更换操作人员，系统可能会完全停止运行。
其中一些原则被应用到自动驾驶汽车行业。该行业中的接口设计越来越多地被视为一种“共同创造的过程”。这种过程渴望集成驾驶员的偏好或采用一些纠正措施，例如提示年轻的驾驶员提高注意力。在自动驾驶汽车行业中，人们认为面向用户的接口适应性，对行业的未来以及取得人们对技术（特别是高层次的自动化技术）的更多信任非常重要。不过，随着自动化程度的提高，也需要对驾驶员的数据进行权衡，包括需要更多的生物特征数据，因为“随着你给予（车辆）更多的控制权并建立更多的信任，车辆也需要更多地了解你；现在，您作为操作人员，也需要受到监督”。
技术上对更多“用户状态”数据的需求，凸显了这样一个事实，即随着系统获得更多的决策能力，人机协作依赖于来自双方的信任。对于自主系统，信任是指嵌入在系统中的验证机制。例如，这种机制会确保操作人员的输入是一致的，不会受到压力的影响。
最后，还有一种设计方法，它包含了沉浸式接口，近年来在各个领域进行了研究，包括自动驾驶汽车和无人驾驶飞行器。沉浸和沉浸式技术是指模拟的、动态的虚拟世界，包括丰富的三维空间和高保真运动等元素。
虚拟现实（VR）和增强现实（AR）系统已被用于军事训练和创建模拟仿真环境。而沉浸式接口将用于任务执行，以及促进协作行为（即人机协作）。
沉浸，作为一种设计选择，被认为是一种更自然的协作平台，并成为一种实用工具，能够以同样的维度将物理世界及其视觉映像以可视化的方式呈现出来。之前有人提出，这种接口形成的远程距离起到了一种“道德缓冲器”的作用，它使操作人员远离其行为和造成的负面后果。对于一般性的远程操作的武器系统（如无人机），人们曾多次表达了这种担忧。而沉浸也可能是一种减少认知和道德距离的有用方法。
4
第四章 训练方面的挑战
对自主武器系统操作人员的训练是一项重要的控制要素。致命性自主武器系统政府专家组对控制的阐述，涉及武器的整个生命周期，包括训练。
自主系统对操作人员提出了新型的训练要求，这取决于系统接口的特性和复杂性。
首先，操作人员需要更全面地了解系统的功能边界以及人与机器之间的功能分配。此外，对于使用AI的自主系统，由于系统的不断学习和演进，人员训练变得更有挑战性。与静态系统相比，训练需求变得更加复杂。系统改变其内部模型的方式通常是不透明的，甚至开发人员也难以理解，而且也很难提出一个操作人员可以训练的学习模型，因为系统在不同的环境中（例如，训练阶段与使用环境下），其学习情况是不一样的。
任务的分配，以及人们感觉的/认为的自主等级，与自主系统的实际能力水平之间的关系，对于人们校准对系统的信任和依赖至关重要。自动驾驶汽车领域的初步研究，揭示了在进行自主等级或模式转换，而操作人员没有准确评估系统的局限性时，所蕴含的风险。例如，人们发现，在系统的部分自动化和高度自动化之间，存在一个特别脆弱的区域。在此区域，当驾驶员认为车辆比某个给定时刻的自动化程度更高时，就会导致碰撞。
军队中，也发生过由于对系统的实际能力认识不足而产生的问题。例如，2003年的爱国者误伤事件，美国陆军爱国者导弹系统击落了英国“龙卷风”和美国海军F/A-18战机。当时系统显示的信息令人困惑，有时甚至是不正确的。当时操作人员有10秒的时间来否决计算机的方案，并且缺乏“在高度复杂的系统中进行例外管理”的训练。
在使用此类系统之后，美国陆军研究实验室的一位工程心理学家总结说，“对于训练不足的人员来说，其手中的自动化系统实际上是一个完全自动化的系统”。训练不足可能导致不正确的期望，无法应对系统故障，或无法替代系统的行动方案，使系统“因（操作人员的）忽视而完全自主”。仅靠接口设计无法弥补高效的训练。
针对自主系统的训练必须聚焦于培养操作人员的专业本领。这包括定量的和定性的两个方面的要素：
· 定性要素：更加密切关注系统心智模型的开发，确保训练不仅仅是“习惯转移”（操作人员在使用新的接口时经常会碰到此类问题，因为他们往往会参考以往的模型）。这包括理解各种变量，如自主功能的程度和范围、从一个环境转到另一个环境时系统的变化，系统最脆弱的地方或有哪些不确定性；
· 定量要素：包括训练持续时间的变化，或者更新训练的间隔等等。
然而，需要注意的是，针对人担任系统监督角色，相应训练仍然面临人因因素的限制。在担任监督角色时，持续不断的保持警觉是一项非常困难的任务。保持注意力既是一个选拔问题，也是一个训练问题。现在人们都知道，一些人就是比其他人更善于持续不断的保持警觉。然而，即使有适当的选拔过程和必须的训练，越是长时间从事重复性或监督性任务，出错的机率就会越高。使操作人员保持认知参与，会涉及到更复杂的因素，包括各种自主功能的增量式使用，通过这种方式，可以让操作人员更好地理解系统，知道何时以及如何转为手动控制，避免丧失责任感
最后，随着人和AI系统日益相互依赖，越来越多的研究结果表明，在开展训练时，必须考虑到人与AI的组队和协作。
人们期望随着武器系统自主能力的提高，人和AI系统能够集成为一个（作战）单元，协作完成高度复杂的任务。这方面的训练不能局限于知识转让，它将越来越需要（人和AI系统）一起训练。这意味着双方将作为“同伴”进行交互，各自发挥自己的本领和职权。在这种情况下，需要把人-AI训练的目标需要聚焦于一起工作和相互学习上。
与人和人的组队训练相比，人-AI组队训练需要有两个方面的重大改变：
· 认识上的转变。涉及偏向、信任和可验证性等问题。可验证性针对的是人对AI系统的期望和要求，这方面的问题有可能导致人对AI的负面偏见
· （工作）程序上的转变。包括新的工作分配和团队训练方法，这需要针对实际和合成环境，设计适当的基于模拟仿真的训练。
这使得操作人员需要理解：1）自己扮演的角色；2）AI系统；3）如何与AI系统/队友交互；4）如何与其他人类队友交互。
这一领域的研究尚处于早期阶段，但至关重要。
5
第五章 AI的可解释性和透明性
智能系统的“黑匣子”性质，使其与最终用户的交互更加复杂，并可能导致相应的心智模型不准确，结果是过于信任或过于不信任。近年来，人们越来越多地认识到，AI的不透明性会损害人们对系统及其决策机制的信任。因此，人们正在努力使AI更加透明、更具可解释性。
从理论上讲，在使用自主武器系统时，嵌入在界面中的解释系统可以降低其中一些风险，但是现有的可用方法面临着许多挑战（甚至是潜在的不足）。
可解释的人工智能（XAI）是一个专注于理解和解释人工智能系统（行为）的领域。可解释性不同于透明性。可解释性以事后回头看的方式评估系统的过程，它研究的机器做过什么，并提供事后解释。相比之下，透明性提供了对系统行为的实时理解。虽然在军事行动中，透明性在支持实时决策方面更有价值，但可解释性和透明性在构建态势感知方面都很重要。在时间允许的情况下，可解释性可以改进系统审核过程和心智模型，进而影响未来的态势感知。
大多数XAI方法都集中在通过界面和仪表盘等可视化技术，来呈现一部分AI过程。例如，解释界面能够以对话框和饼图等图形化形式展现概率，也可以是交互式界面，用户可以从几个算法中选择最佳的算法。
可视化有助于培养人们对AI系统的信任，提升人的能动性。例如，研究表明，通过提供与系统不确定性相关的信息，可以提高系统性能，包括人在接管系统时的表现也会更佳。
虽然“XAI途径”包括许多机器学习模型和可视化分析方法，但它们仍然表现得异常复杂，往往只有机器学习方面的专家才能理解。XAI的其他局限性包括：
· 信任不仅仅是一个技术问题，它是一个动态变化的过程，可视化不能解决所有与信任相关的问题
· （对AI系统）的解释，可能会使有缺陷的心智模型得到进一步的强化；太多的细节可能会使人们茫然失措；或者包含太多的悬念；在可能需要进一步验证的情况下误导操作人员（从而导致过度信任）；不同的用户可能会有不同的理解
· 在高强度的作战行动中，一些解释工具可能会增加人们的工作量，例如操作人员需要在有限的时间查看系统的解释
虽然透明度和可解释性更高的系统应该优于“黑匣子”，但需要注意的是，可解释性不是解决信任问题的灵丹妙药，某些方法执行的不好，结果可能会适得其反。就自主武器系统而言，需要我们进一步研究哪些方法和何种信息能够更好地提高系统的透明性。例如，为了增加操作人员对系统的信任，许多人机界面用百分比表示概率，例如，X是合法目标的概率是87%。事实上，这种方法使操作人员更难以做出决策，并不会增强操作人员信心。87%的概率就足以让操作人员继续攻击目标吗？剩下的13%是什么意思？此外，该信息是应该表示为“87%的确定性”，还是表示为“13%的不确定性”？
即便是对于完全透明和可解释的AI,也存其他困境，可能造成出现错误时，其责任完全落在操作人员身上。由于无法让AI系统承担责任，这种情况有可能给操作人员带来过分的问责。
XAI作为一种有发展前景的方法，需要精心设计并集成到系统中，有效促进人机交互，增强人对系统的信任和控制。
6
结论
自主武器系统中的人机接口对于实施人工控制非常重要，但在设计和使用方面仍然存在重大挑战和需要考虑的问题。
本报告以自主性和人机交互为背景，阐述了人机接口几个方面的问题。过去十年中，自动驾驶汽车行业在可控性方面的研究取得了显著进展。本报告也借鉴了该领域的一些经验教训，
一般性结论：
· 人机接口作为自主武器系统的子系统，对它的研究揭示了人类控制的复杂性——它是一种通过接口设计而嵌入、通过训练而培养、通过特定技术特性（例如XAI）而增强或（或破坏）的能力。
· 在武器系统中引入自主功能和人工智能，特别是机器学习，扩展了人机交互的选项和模式；它使人机接口的设计和开发变得非常复杂，这进而需要对操作人员进行新的培训。
接口设计：
· 自20世纪50年代以来，接口设计方法从以技术为中心，到以用户/人为中心，再到以交互/人-AI组队为中心，反映了自主性和自主功能的发展。
· 致命性自主武器系统政府专家组必须从政策的角度考虑这些范式的意义，因为它们超越了技术升级，反映了人机交互的深层次变化，对实施人类控制有直接影响。
训练：
· 对操作人员的进行训练，是实施人类控制的一项重要内容。自主武器系统的自主化以及接口的复杂化，给人员训练带来了新的挑战。
· 实施训练需要更清晰地理解自主武器系统的局限性、功能分配和系统故障，并且必须解决常见的行为方面的因素（例如自满），同时保持对责任和问责的清晰理解。
可解释的AI：
· 虽然XAI号称可以通过引入更多的可理解性和可预测性，来增强人们对技术的信任，但对于自主系统固有的透明性和可解释性问题，XAI所起的作用依然有限。今后联合国裁军研究所（UNIDIR）将更详细地研究这个问题。
· 对于人工智能驱动的系统，必须努力实现更高的可解释性和透明性，同时适当考虑不同的作战类型、环境和用户等方面的军事需求。这需要深入研究接口设计，以最好的方式表征透明度方面的信息和系统的脆弱性，使人们能够校准期望并增强技术的信任。
7
政策建议
本报告认为致命性自主武器系统政府专家组当前和未来工作应当着眼以下几个方面：
深入细致地讨论自主化背景下的人机交互以及接口在人类控制中所扮演的角色等问题。这应当包括智能系统背景下接口设计和人员训练的相互联系、AI系统的可解释性问题以及对技术的信任问题。
更清晰地阐述在人类控制方面的期望和目标，以指引未来AI系统的接口开发工作。政府专家组的阐述有助于向技术界界定人类控制方面的问题，但还需要更进一步，以确保更明确地界定人类控制的含义，契合各类武器系统和使用环境。
讨论人工-AI团队协作对人类控制自主武器系统的影响。“团队协作”并不意味着AI系统与人类处于平等地位，我们坚持认为人应当处于主导地位。不过，针对人类控制的含义，它确实引发了新的问题。技术专家的参与对于探索这一范式的影响和挑战至关重要。
关注公众号了解更多
会员申请 请在公众号内回复“个人会员”或“单位会员
欢迎关注中国指挥与控制学会媒体矩阵
CICC官方网站
CICC官方微信公众号
《指挥与控制学报》官网
国际无人系统大会官网
中国指挥控制大会官网
全国兵棋推演大赛
全国空中智能博弈大赛
搜狐号
一点号
