RAND，__指挥控制，量化评估，效能评估，军事，美军，国防，机器学习

前言

简介

报告聚焦问题

• 美国空军的关键优先事项之一是使用AI来增强军事C2。
• 在学术和商业环境中开发和部署的AI系统与需要它们的军事环境有质的区别。
• 空军缺乏一个分析框架，以理解不同AI系统对不同C2问题的适用性，并识别普遍的技术差距。
• 空军缺乏评估AI系统解决C2问题的性能、有效性和适用性的指标。

结构化方法

下图显示了我们提出的评估特定用例的潜在解决方案的效率的完整框架。

分析问题特征

我们创建了一个问题特征分类法，可以将其分为四类。 一些特征完全源于问题本身的性质（例如，作战节奏），而其他特征则包含价值判断（例如，作战风险和收益）或赋予敌人积极的作用（例如，对手可以通过 诱饵和干扰等手段）。 某些特征往往会同时出现在问题中，但所有特征都相互独立。

为了演示问题分类，我们分析了十个游戏和人工智能测试环境以及十个C2过程。我们选择的游戏常用于AI研究。为了评价每个问题的特征，我们使用了原始文档、描述和经验。我们选择的C2流程跨越了战争级别(战术、作战和战略)和服务分支。为了评估每个服务的问题特征，我们使用结构化协议采访了每个服务的现役主题专家。

小结：以上分析清楚地说明了将人工智能应用于C2所需的飞跃。作为一个过渡步骤，空军可以将重点放在呈现更多有限问题特征的C2过程上。或者，空军可以开发人机协同结构，在这种结构中，人工智能只应用于更大的C2进程中合适的子任务。

评估解决能力

分类法的目的是标准化计算体系结构的特征，无论它们使用一种还是多种算法方法，就它们提供的能力而言。这是确定一个可能适合C2进程的人工智能系统是否能够实际实施的第二步。

分类法的目的是确定潜在的解决方案是否解决了问题特征。为了演示解决方案分类，我们分析了十个人工智能系统。我们选择的系统在经典人工智能技术和当代人工智能技术的使用、对知识工程和学习的依赖以及对反应型、计划型和分类型任务的适用性方面各不相同。为了评估每个系统的解决方案能力，我们使用了源代码、已发布的描述和结构化协议来采访一位来自兰德公司的了解该系统的人工智能研究员。

系统和功能的平均评分为4分之2.1，没有一个系统具备所有功能。这些评级说明了学习系统和不学习系统之间的一般权衡。与学习型系统相比，没有更高数据效率(3.7对0.8)、可靠性(3.3对0)、可靠性(3.8对1.8)和可解释性(2.8对0.8)平均评级的系统。相反，不学习的系统在计算效率(1.8对3.3)方面的平均评级较低，在最优性(2.7对2.5)和鲁棒性(2对0.8)方面的平均评级相似。

下图显示了所有人工智能系统解决方案能力的平均评级。总体而言，这些系统在可靠性、最优性和数据效率方面的平均评分最高。数据效率被评为相对较高，而学习被评为相对较低，这一发现反映了样本中包括的学习和非学习系统的不同数量(分别为4个和6个)。鲁棒性对于学习和非学习系统都有中低的评分。

计算机科学研究主要集中在人工智能系统优化某些目标函数的能力上。然而，还存在其他重要的解决方案功能。根据我们对人工智能系统的评估，没有一个系统通常具备所有功能。因此，系统的选择体现了一个关于权衡哪些能力的决定。在我们分析的十个系统的样本中，最引人注目的权衡是一方面是学习，另一方面是数据效率、可靠性、可解释性。这里的含义是双重的:现实世界的人工智能系统必须沿着多个维度进行评估，具有最高性能水平的系统可能不是首选解决方案。

提出解决方案

我们假设不同的问题特征需要不同的解决能力。正如钥匙适合锁一样，人工智能系统的能力必须与C2问题的特征相一致。现有文献没有提供这样的人行横道。在本章中，我们报告了一个专家小组的结果，该小组旨在确定哪些解决方案功能对每个问题特征最重要。基于小组的结果，我们提出了一种方法来评估人工智能系统对特定C2问题的适用性。

指挥和控制人工智能专家小组

该小组采用了嵌入式混合方法设计，并遵循了引发专家判断的既定做法。定量数据用于确定解决方案能力对每个问题特征的重要性，定性数据用于了解影响这些评级的因素。智能专家小组流程如下：

• 专家们回顾所有问题特征和解决能力，并对每对解决能力的重要性进行了评级和评论。
• 专家们对这一轮的评论进行了主题分析并进行讨论。
• 专家们被允许根据第二轮的反馈和讨论修改他们原来的评分。专家们再次被要求解释他们的评级。

专家打分评级（按重要程度）

分析C2和AI之间的评分一致性

• 列出待评价问题特征
• 列出解决方案能力
• 各元素相乘
• 关键对求和

小结

十大指挥控制流程和游戏中解决方案能力的相对重要性，以及人工智能系统的分析能力

人工智能系统相对来说比C2过程更强调公正性和最优性，而相对来说不太强调鲁棒性、可靠性和学习。总的来说，这些结果表明，某些针对游戏进行优化的人工智能系统，以其目前的形式，可能对国防部的用处有限。

局限性：

1. 问题和解决方案评级的定性性质。目前，分配给问题特征和解决方案能力的评级是基于专家的判断。可以为维度导出一组相应的量化指标。
2. 加权函数。目前，我们应用了一个阈值来定义问题特征和解决方案能力的关键配对，并给这两对分配了统一的权重。也可以使用给不同对提供连续变化值的替代加权函数。
3. 问题特征的语境变异。分析的结果取决于对问题特征的假设，这些假设是恒定的。如果C2问题的特点因背景而异，例如，如果指挥官有主动性，而不是他们试图抓住它，那么分析的结果也会因背景而异。

评估方案

在本节中，我们将更仔细地研究这种匹配的某些方面，并为人工智能解决方案提出三类评估措施，以帮助完成选择过程。提前制定评估措施有助于确保公平评估发展进度，并确定潜在的实施问题。我们详细讨论了每个类别，并强调了对人工智能解决方案特别重要的特定指标。

MoE （Measures of Effectiveness）

MoE通常是从C2问题本身得出的任务成功的常见衡量标准，例如生存能力和部队换防率。没有一套单一的、标准的MoE可以用于所有的C2问题:MoE必须为每个任务量身定制。有鉴于此，我们不提供一份固定的MoE清单，而是提供一套在设计时应该考虑的子类别和问题。

MoP（Measures of Performance）

MoP抓住了提议的人工智能解决方案的力量——用一个市场类比来说，它们代表了所提供的“供应”。典型地，MoP是软件和硬件的常见度量，例如，集中在运行时间和错误率等问题上。因为MoP很好地与软件开发保持一致，所以它们经常被用来定义获取过程的需求。然而，由于最终目标是满足教育部，MoP被更好地理解为代理指标:小节应该设置得足够高，以确保教育部将得到满足的高可信度。

MoS（Measures of Suitability）

MoS捕捉人工智能解决方案必须能够解决C2问题的操作条件范围。

小结

评估方案的不足：

1. 对MoE和MoS的关注太少。我们对美国国防高级研究计划局指标的审查表明，人工智能评估的主要重点往往是性能准确性和最优性。虽然这当然很重要，但这将重点放在解决方案空间上。
2. 对数据集可用性和质量关注太少。了解用于训练和测试算法的数据的局限性非常重要。
3. 评估人工智能算法影响的资源有限。DIB明确表示“国防部缺乏人工智能T&E工具来验证人工智能/最大似然模型。” MoE和MoS需要一个操作上现实的环境，在这个环境中可以测试系统。对MoP的关注可能是模糊这些需求的部分原因。

四个结论

1. C2流程与用于开发和演示AI系统的许多游戏和环境非常不同
2. C2流程的独特本质要求AI系统不同于那些针对游戏玩法进行优化的AI系统
3. 需要新的指南、基础设施和指标来评估AI在C2中的应用
4. 需要混合方法来处理C2流程中出现的大量问题

参考文献

[1]https://mp.weixin.qq.com/s/lSyV9IGgGFHKVAazLWhdbw

[2]Exploring the Feasibility and Utility of Machine Learning-Assisted Command and Control: Volume 1, Findings and Recommendations

[3]Exploring the Feasibility and Utility of Machine Learning-Assisted Command and Control: Volume 2, Supporting Technical Analysis