深度强化学习 - 一种通过使用奖励来推动代理人实现目标的算法训练技术 - 在基于视觉的导航领域中显示出巨大的希望。科罗拉多大学的研究人员最近展示了一个系统，帮助机器人从相机镜头中找出远足径的方向，苏黎世联邦理工学院的科学家们在1月份的一篇论文中描述了一种机器学习框架，它有助于四足机器人从地面爬起来当他们绊倒时。AI引导单镜头无人机穿过它从未见过的走廊但是，当这种人工智能应用于无人机而不是机器牢固地安装在地面上时，它的表现是否同样熟练?加州大学伯克利分校的一个团队开始寻找答案。在最新发表的关于预印本服务器Arxiv的论文(“ 通过模拟推广：将模拟和真实数据集成到基于视觉的自主飞行的深度强化学习中 ”)中，该团队提出了一种“混合”深度强化学习算法，该算法结合了两者的数据。数字模拟和现实世界，通过铺有地毯的走廊引导四轴飞行器。“在这项工作中，我们......旨在设计一种转移学习算法，在这种算法中学习车辆的物理行为，”该论文的作者写道。“实质上，现实世界的经验被用来学习如何飞行，而模拟经验被用来学习如何概括。”为何使用模拟数据?正如研究人员指出的那样，泛化在很大程度上取决于数据集的大小和多样性。一般而言，数据的数量和多样性越大，性能越好，并且获取实际数据既耗时又昂贵。但是模拟数据存在一个问题，它是一个很大的问题：它在飞行数据方面具有固有的低质量 - 复杂的物理和气流通常很差或根本没有模拟。研究人员的解决方案是利用现实世界的数据来训练系统的动态，并模拟数据以学习一般化的感知策略。他们的机器学习架构包括两部分：从模拟中传输视觉特征的感知子系统，以及用真实世界数据提供的控制子系统。为了训练模拟政策，该团队使用斯坦福大学的Gibson模拟器，该模拟器包含各种各样的3D扫描环境(研究人员在16中收集数据)并使用相机模拟虚拟四轴飞行器，以便直接控制姿势相机。他们拥有1700万个模拟收集的数据点，当他们完成所有这些时，他们结合了14,000个数据点，这些数据点是通过在加州大学伯克利分校Cory Hall的5楼的单个走廊中运行模拟训练的政策而获得的。通过仅一小时的实际数据，该团队证明了AI系统可以引导27克四轴飞行器 - Crazyflie 2.0 - 通过以前从未遇到过的具有照明和几何形状的新环境，并帮助它避免碰撞。它进入现实世界的唯一窗口是单筒望远镜; 它通过无线电到USB加密狗与附近的笔记本电脑进行通信。研究人员指出，训练用于避免碰撞和导航的模型比使用其他方法学习的任务不可知策略转移得更好，例如无监督学习和大型图像识别项目的预训练技术。此外，当AI系统确实失败时，它通常是“合理的” - 例如，在30%的弯道走廊试验中，四轴飞行器与玻璃门相撞。“我们[工作]的主要贡献是将大量模拟数据与少量实际经验相结合的方法，以便通过深度强化学习来训练真实世界的自动飞行避碰政策，”该论文的作者写道。“我们方法的基本原理是了解车辆的物理特性及其在现实世界中的动态，同时从模拟中学习视觉不变性和模式。