近日,西工大的李学龙教授团队提出了一种全新的自主无人机控制框架,采用大模型实现了无人机之间的「群聊式」对话交互,从而打破了人机交互的壁垒,提高了无人机任务执行的自主性。这一框架包括了类人对话交互、主动环境感知和自主实体控制等核心要点,使无人机能够更好地理解用户需求、实时感知外部环境并调整任务规划,以及自主控制执行任务。
团队的研究启发于人类的认知模式,他们将高度自主的认知过程凝练为「思维计算—实体控制—环境感知」的三元交互,并基于开源大模型创建了「书生·浦语」驱动的自主无人机控制框架。这一框架为每架无人机装上了大脑,使它们可以在语言沟通中协同工作,执行开放环境和复杂任务中的智能交互和自主控制。
除了类人对话交互,这一技术还包括了主动环境感知,使无人机能够主动感知外部环境并实时调整任务规划。团队设计了任务引导的主动感知机制,结合多传感器融合的低空搜索、动态避障和视觉定位算法,实现了高效的信息采集和任务执行。
最后,自主实体控制方面,团队将无人机扩展为「飞行机器人」,使它们具备抓取能力,并构建了异构无人机集群协同控制机制,以实现分工执行不同任务,如区域搜索、目标定位和抓取。
总的来说,这一大模型自主无人机集群技术的应用潜力广泛,包括安防巡检、灾害救援和空中物流等领域,对未来的自主智能体研究具有重要意义。