美国国防部高级研究计划局（DARPA）于2021年3月3日启动“感知赋能的任务指导” (Perceptually-enabled Task Guidance，PTG) 项目，旨在开发能够帮助军事人员完成复杂任务、扩展技能和减少错误的人工智能虚拟助手。

PTG项目分为两大研究领域，一是基础研究，解决一系列互联问题：知识转移、感知绑定、感知注意、用户建模等。知识转移是指PTG虚拟助手从为人类准备的指令中自动获取任务知识，包括清单、图解手册和培训视频。感知绑定是指助手根据对对象、动作、声音、文字的感知输入，与用于向用户描述和建模任务的术语相匹配，以便观察可以映射至任务知识。感知注意是指助手在忽略无关刺激的同时，必须注意与当前任务相关的感知输入。它们还需要能响应意外但相关的事件，这些事件可能会改变用户的目标或建议新任务。用户建模是指助手必须能够确定与用户共享多少信息以及何时共享。这需要开发和整合用户所知的认知模型、用户当前行为的物理模型及其注意力和情绪状态模型。二是关注这些基础研究成果在军事相关用户案例场景中的综合应用。DARPA目前主要聚焦三个应用领域：战场医疗（如未经训练的人员在战场上帮助医务人员）、机械维修（保障军事装备正常运行）和辅助驾驶（尤其是直升机）。

研发合作方面，DARPA已与多个团队签署项目相关合同。2021年12月，DARPA授予纽约大学坦登工程学院VIDA中心主任Claudio T. Silva教授领导的研究小组500万美金合同，用于开发人工智能虚拟助手。2022年2月，DARPA与诺斯罗普·格鲁曼公司签订合同，为UH-60黑鹰直升机飞行员开发人工智能助手原型，该原型将嵌入AR耳机中，帮助飞行员执行预期和意外的任务。雷神情报与航天公司也参与了DARPA战场医疗AI助手的研发。技术应用方面，与Siri、Alexa或Google智能助理不同，PTG助手通过结合传感器（麦克风和头戴式摄像头）和增强现实（AR）耳机来了解用户的所见所闻，并通过AI生成指令来指导用户。此外，PTG项目使用微软Hololens 2增强现实系统作为硬件平台测试平台。

本视频是DARPA信息创新办公室项目经理布鲁斯·德雷珀对PTG项目进展的最新介绍。PTG项目正在麻省理工学院林肯实验室的主持下进行。研发团队包含纽约大学、加州大学、诺斯罗普·格鲁曼公司等机构的研究人员，他们来自可视化、人机交互、计算机视觉、自然语言处理等多个方向。他们在麻省理工学院的Hacker Reactor展示虚拟助手的第一个版本。不过，团队并没有展示助手如何辅助驾驶直升机，而是展示其如何帮助人们按食谱烹饪。布鲁斯·德雷珀表示，之所以选择烹饪作为演示样例，是因为它是作为一项可以通过多种方式完成的复杂体力劳动。他还指出，目前军方也希望了解该技术的发展趋势。研究人员还表示，PTG最终会在医疗培训、评估医生和其他医疗保健服务方面发挥作用。

来源：渊亭防务