模拟器已经用于训练人类驾驶员，飞行员和宇航员多年，现在它们也被用来训练自动驾驶汽车 -麻省理工学院研究人员开发的新系统可能是迄今为止最有希望的系统。

虚拟图像自主融合与转换(VISTA)仿真系统意味着汽车不必立即冒险驶入真实街道。取而代之的是，他们可以在为他们创建的虚拟世界中漫游，并有无数种选择。

这在极端情况下特别有用：罕见的事件，例如险些失误或被迫离开道路，那里没有大量可用于自动驾驶汽车作为训练模型的真实世界数据。在VISTA内部，可以安全地“体验”这些事件。

当无人驾驶汽车控制器在模拟中启动时，他们只会得到一小部分真实世界的人工驾驶数据集。管制员必须自己弄清楚如何安全地从A到达B，并因不断行驶而获得奖励。

当出现错误时，系统会使用所谓的强化学习来教导自动驾驶控制器下次做出更好的选择。逐渐地，它可以行驶越来越长的时间而不会崩溃。

麻省理工学院计算机科学与人工智能实验室(CSAIL)的博士生亚历山大·阿米尼(Alexander Amini)说：“很难在人类在路上遇到的这些极端情况下收集数据。” “但是，在我们的仿真中，控制系统可以体验到这些情况，可以自我学习以从中恢复，并且在部署到现实世界中的车辆上时仍能保持稳定。”

模拟引擎以前曾被用来准备和训练自动驾驶，但是在艺术家和工程师为模拟器设计的人工模拟世界与外界之间通常存在差异。

在VISTA的情况下，模拟器由数据驱动，因此可以从真实数据中合成新元素。卷积神经网络(通常用于处理图像的一种AI)用于绘制3D场景并创建逼真的表示，然后自治控制器可以对其进行响应。

场景中的其他移动物体，包括汽车和人，也可以通过为VISTA提供动力的神经网络绘制出来。它偏离了传统的训练模型，传统的训练模型要么遵循人类定义的规则，要么试图模仿人类驾驶员的行为。

“我们基本上是说，'这里是一个环境。您可以做任何您想做的事。只是不要撞到车辆上，而留在车道内，'”阿米尼说。

它似乎也可以工作：将控制器从10,000公里(6,214英里)的VISTA培训移植到实际的无人驾驶汽车中，能够安全地穿越从未见过的街道，并从接近崩溃的情况中恢复(例如半路)。下一阶段将引入复杂性，例如恶劣的天气或场景中其他元素的不稳定行为。

概述该系统的论文已发表在IEEE机器人与自动化快报上，并将在即将举行的国际机器人与自动化大会(ICRA)上发表。