索尼搞了个大新闻:AI 打败人类三冠王,登上 Nature 封面

2022/2/10 13:42:17 来源:量子位 作者:鱼羊 博雯 责编:长河

 今天,索尼真是背刺了一把任天堂。早上任天堂在直面会上公布了诸多游戏大作:异度之刃 3、火焰纹章无双、马里奥前锋…… 可谓占尽风头。然而,万万没想到,索尼的 3A 游戏大作居然搞了个更大的新闻,登上了 Nature 封面

索尼 3A 游戏登上 Nature 封面

把游戏宣发做到了顶级学术期刊封面,我服。不过这篇文章可不是加钱打广告,而是实实在在的技术论文 —— 一只来自索尼的 AI,名叫 GT Sophy。

且看这位 AI 赛车手的比赛画面,先是一个机智变道绕开对手的卡位:

AI 赛车手的比赛画面

随后在弯道胶着时大秀操作,以 190km / h 的速度一举反超,将对手甩到身后。

AI 赛车手的比赛画面

可别觉得 AI 在赛车游戏里战胜人类没啥特别的,要知道,这样的比赛是在 GT 赛车中进行的 —— 这是一款高度拟真的赛车游戏,也就是说,选手们几乎就是在真・开车。

图右为 GT 世界冠军 Takuma Miyazono

▲ 图右为 GT 世界冠军 Takuma Miyazono

而 GT Sophy 也是世界上首个在此类需要持续判断和高速反应的赛车游戏中,战胜人类冠军的 AI。

斯坦福汽车研究中心联合主任 Chris Gerdes 教授就对此表示:

GT Sophy 在比赛中如此熟练地超越人类驾驶员,这对于人工智能而言是一项里程碑式的进步。

值得一提的是,最新一代 GT 系列游戏 Gran Turismo 7 将在 3 月 4 日正式登陆 PS4 / PS5 平台。

虽然玩家们不太可能在第一时间对战 GT Sophy,但索尼已经表示,他们正在努力将这只强大的 AI 整合到 GT 赛车中。

并不简单的赛车 AI

AI 战胜人类,在很多人听来已经不够新鲜。但与过去在国际象棋、围棋等棋类游戏,或星际争霸、Dota 等动作游戏中一展拳脚的 AI 相比,赛车那看似“先到终点就赢”的简单目标,实际上要复杂得多:

比如刹车,就是一种不断探索汽车轮胎与道路之间摩擦力的“物理战”。转弯时刹车太早,可能就无法顺利过弯,还会损失车速;刹车太晚,又难以保持想要的路线轨迹,甚至导致车体旋转。

AI 赛车手的比赛画面

整个比赛过程中,赛车手必须时刻保持对周围环境的判断,并能根据路况作出及时的反应。同时,驾驶技巧、针对不同对手的战术策略、甚至是遵守规则的赛车精神和礼仪…… 都是一个赛车 AI 所必备的素养。

为了达成这些目标,索尼将 AI 的训练场设在了自家的 GT 赛车系列的游戏中。

GT 赛车系列

这是一款 PS 平台独占游戏,全名 Gran Turismo,是一个汽车行业中的真实名词,意为“能够长距离行驶的高性能车”。

这款游戏主打的就是真实驾驶感,甚至可以通过一套带力反馈的方向盘外设体会到横向 g 值、前轮滑移率、车重、车辆的调教特性等各种细腻的路感反馈。

在 GT 游戏中,研究这种通常使用 10 到 20 台 PS 游戏机、同等数量的计算实例、一台异步更新神经网络的 GPU,从头开始训练这个叫做 GT Sophy 的 AI。

一台异步更新神经网络的 GPU

训练主要针对两个连续值的维度:转向和速度。同时,为了把 GT Sophy 和人类拉到同一起跑线上,研究者们还调慢了它的操作速度:

对游戏的交互频率为 10 赫兹(人类标准是 60 赫兹),反应时间则分别为 100 毫秒、200 毫秒、250 毫秒。

在一张完整的地图中,研究者以 6 秒为单位,将智能体所跑的赛道量化为一段一段的“静态地图段”,并将每一段赛道的左右边缘和中心线编码为 60 个等距的三维点:

静态地图段

训练场准备好了,现在就是让 GT Sophy 真正成为一名会转弯、会思考的赛车手。

行为者- 评价者机制

索尼使用了一种新的深度学习算法,也叫做量化回归的行为者-评价者(QR-SAC)方法。

AI 智能体会被扔到一个没有指令的环境中,并根据评价者(也就是价值函数)的评估来选择行动,并根据完成目标的结果而获得奖励或惩罚。比如,智能体会因为保持高速前进而获奖励,也会因为出界、撞墙或失去牵引力受到惩罚。

这种奖惩机制使智能体迅速得到积极的反馈,慢慢开始熟悉在赛道上的行为。事实上,GT Sophy 只用了几个小时就学会了在赛道上行驶,并很快就在 Maggiore 赛道上超越了 17700 名玩家:

行为者- 评价者机制

但这种单纯的速度,或者说赛道完成进度上的奖励并不足以激励智能体赢得比赛。因为如果对手速度足够快,智能体就完全可以通过跟随并学习对手的“偷懒”的方式积累大量奖励,最终也能完成目标。

于是,研究者们增加了“超车奖励”,并且,相对于对手的距离的改变也会与奖励积分成比例。同时,赛车的碰撞上也有奖惩机制,研究人员设置了一种较为保守的奖励:

在确保智能体能以足够强悍的驾驶风格赢得胜利的同时,也不至于会粗暴地将其他赛车赶出道路,而遭受真正的赛车规则的惩罚。

最终,GT Sophy 在 GT 赛车比赛中胜过了 2021 年 TGR GT 杯冠军、2020 年国家杯世界冠军和 2021 年亚军、2018 年国家杯亚洲 / 大洋洲冠军等多位世界顶级赛车手。

比赛画面

在比赛中,GT Sophy 在三条赛道上都取得了第一名。而在比赛中,它能够执行几种类型的转弯,有效地利用漂移,扰乱后面车辆,拦截对手并执行其他紧急操纵。

比赛

不过,研究者也提到,GT Sophy 在战略决策方面还存在着一些改进的空间:有时会在同一条跑道上留出足够的空间,让对手有机可乘。

索尼要用它开发自动驾驶

看到这里,你觉得 GT Sophy 能力如何?反正几位世界级选手们是服气了。

在 GT 赛车世界级赛事上斩获三冠的宫园拓真(Takuma Miyazono)表示:

Sophy 的速度非常快,单圈时间胜过了此前对最佳车手的预期。

—— 在其中一场比赛中,GT Sophy Rouge 以 5.8 秒的优势战胜了第二名山中智明(2021 年 TGR GT 杯冠军),最快圈速为 1:54.373,比山中快了 2 秒多。

而 GT Sophy 的能力显然不仅仅能在游戏中大杀四方。斯坦福汽车研究中心联合主任 Chris Gerdes 教授就指出,GT Sophy 背后的 AI 技术,可以帮助开发自动驾驶汽车:

GT Sophy 在赛道上的成功表明,有朝一日,神经网络在自动驾驶汽车软件中的作用可能比现在更大。

目前,神经网络算法在自动驾驶汽车软件中主要负责跟踪道路标记、感知障碍,控制软件则仍依赖于人为设定的规则。丰田研究所高级经理 Avinash Balachandran 也表示,“在赛车中应用机器学习和自主控制令人兴奋”。

还有不少网友认为,这一 AI 或许与索尼新成立的电动汽车公司有关,或许再过几年,这个 AI 就能在其自动驾驶技术中看到了。

评论

当然对于索尼玩家来说,最期待的是:下个月上市的 GT7 能否加入这个最强 AI?

评论

好消息是 GT7 仍会登陆上一代游戏机 PS4,没买到 PS5 的玩家也能尝尝鲜了。

论文:

https://www.nature.com/articles/s41586-021-04357-7

参考链接:

https://sonyai.github.io/gt_sophy_public/

相关文章

关键词:索尼AINature

软媒旗下网站: IT之家 辣品 - 超值导购,优惠券 最会买 - 返利返现优惠券 iPhone之家 Win7之家 Win10之家 Win11之家

软媒旗下软件: 魔方 云日历 酷点桌面 Win7优化大师 Win10优化大师 软媒手机APP应用