绝悟AI再次亮相GDC 展示人机协作与AI内容生成能力

全球游戏行业年度盛会“2022游戏开发者大会”(英文:Game Developers Conference,简称GDC)于近日举办。腾讯 AI Lab 在大会上展示了 AI+游戏两项进展,包括 绝悟AI 应用于玩家教学,及AI算法自动生成关卡,展示了AI技术丰富玩家体验、降低制作成本的能力。这两项进展也代表了腾讯 AI Lab 向 AI 深入游戏产业全链路布局更近一步。

AI技术在游戏全链路的研究与应用包含两部分,在横向上覆盖游戏制作、运营及周边生态全生命周期,提升游戏品质,丰富玩家体验;在纵向上AI正拓展更多元的游戏品类。在去年GDC大会上,腾讯AI Lab就展示了AI在不同类型游戏上的应用成果,包括提高游戏开发效率、打造新玩法、辅助游戏平衡性测试等案例经验。

与此同时,AI 在游戏场景中不断提升通用智能,也将有助于解决现实世界真实问题,并推进迈向虚实融合未来。

腾讯AI Lab:AI技术在游戏产业全链路中的研究与应用能力

绝悟AI 玩家教学,提升人机协作能力

“绝悟”是腾讯Al Lab研发的决策智能Al,已在MOBA、FPS、RTS、3D开放世界等多类复杂策略游戏中取得了国际顶尖的研究成果。基于不断提升的复杂长期决策和团队协作能力,绝悟也已应用于多款游戏,赋能游戏制作与运营环节。

和王者荣耀共同研发的王者绝悟已表现出媲美人类顶尖职业选手的决策能力。如王者绝悟能把一身本领传授玩家,将能帮助玩家快速提升竞技水平。这需要AI具备形式丰富的信息交流与协作能力。但此前竞技型的王者绝悟是基于智能体间的建模训练而成,这种建模方式导致AI难以理解人类玩家意图,因此无法实现对玩家的交流指导。

人机协作技术解决了这一问题,成功让王者绝悟实现AI教学。在游戏内“绝悟试炼”玩法中,王者绝悟身兼队友及老师,与玩家在真实对战环境中交流协作,并在过程中向玩家传授职业级的策略与操作技术,帮助玩家迅速熟悉英雄操作与游戏玩法。数据显示,在引入王者绝悟AI教学后,玩家单局游戏主动沟通的次数提高了56%,提高了PVE玩法的可玩性。

具体到技术方案,人机协作要应对AI与玩家之间理解、沟通、协作三个层面的挑战:

王者绝悟通过自对弈探索策略,与玩家“师出不同门”,两者在策略和行为上存在差异,如何让AI理解玩家意图?

玩家与玩家之间通过语音文字等交流,但AI描述信息的方式与人类截然不同,如何让双方有效沟通?

当玩家和AI的策略不同时,如何合理地进行协作？

为了解决这些问题,我们使用了之前提出的MGG算法(Learning Diverse Policies in MOBA Games via Macro-Goals,Neurips 2021收录)来搭建仿真的人机协作环境。MGG使用分层建模的思想,将任务分解为宏观策略建模和微观操作建模。其中,宏观策略模型负责战略层面的长期规划,微观操作模型则在宏观策略下的指导下进行实时决策。然后,我们通过构建基于专家知识的宏观策略模型,来引导AI学习玩家的策略,并让AI在自对弈训练中与不同策略的队友进行组队,从而能更好地理解玩家的意图。

实现人机“同频”之后,接下来是沟通和协作的问题。首先我们用基于专家策略的AI模型模拟玩家,再使用各种不同策略的AI模型分别模拟对手和队友,从而搭建起一个高度仿真的人机协作的环境。然后,我们在宏观策略层面建模了信息交流,通过构建通用的通信协议“元指令”来描述战略意图,实现AI与玩家的交流。

同时,我们还训练了一个指令选择器,利用长期奖励和自对弈来评估“元指令”的价值,从而完成合理的协作。王者绝悟在人机教学中主要有两种协作模式,一种是被动式协作,即玩家发送指令给AI队友,AI队友使用指令选择器评估价值,执行其中有价值的指令并向玩家反馈。另一种是主动式协作,AI队友用职业级的宏观策略作为元指令发送给玩家,指导玩家去哪里、做什么。

来看看人机协作的实战效果。在玩家发出各种指令后,AI会根据血量、距离等实际情况,评估指令的合理性,选择执行或拒绝。同时,AI还能执行一系列的多指令任务(如集合 - 抢夺资源 - 撤退),完成更复杂的协作。

随着人工智能技术的发展,人机协作将成为未来重要模式,“理解-沟通-协作”是实现这一目标的通用问题。王者绝悟在王者荣耀人机教学场景下的应用探索,不仅适用于大多数MOBA游戏,为玩家带来价值,也是对未来更多现实场景中人机协作方向的有利探索。