内容字号:默认大号超大号

段落设置:取消段首缩进段首缩进

字体设置:切换到微软雅黑切换到宋体

业界
软件
手机
数码
电脑
学院
测评
图赏
视频
游戏
原创
直播
 AI
5G
苹果
微软
iPhone
Win10
精准搜索请尝试:精确搜索

“人工智障”拖垮“人工智能”,智能体如何应对训练中的故意碰瓷儿?

2019/12/31 12:54:42来源:大数据文摘微信公众号作者:曹培信责编:懒猫评论:

人们通常会派出最强大的选手和场景训练人工智能,但是,智能体如何应对训练中故意碰瓷儿的“弱”对手呢?

来看看下边的两个场景:两个AI智能体正在“训练场“进行一场激烈的足球赛,一个守门、一个射门。当守门员忽然自己摔倒,攻方没有选择乘胜追击,也忽然不知所措了起来。

在相扑的规则下也一样,当其中一个队员开始不按套路出牌时,另一个对手也乱作一团,双方立刻开始毫无规则扭打在一起。

这样“人工智障”的场景可不是随意配置的游戏,而是一项对AI对抗训练的研究。

我们知道,通常情况下,智能体都是通过相互对抗来训练的,无论是下围棋的阿法狗还是玩星际争霸的AlphaStar,都是通过海量的对局来训练自己的模型,从而探索出获胜之道。

但是试想一下,如果给阿法狗的训练数据都是围棋小白乱下的对局,给AlphaStar提供的是小学生局,结果会是如何?

近期,来自伯克利的研究人员就进行了这样的实验。红色机器人与已经是专家级别的蓝色机器人进行对抗训练,红色机器人采取一定的对抗策略攻击蓝色机器人进行的深度学习。这项研究的论文作者也在NIPS大会上对该研究进行了展示。

论文链接:https://arxiv.org/pdf/1905.10615.pdf

在实验中,红色机器人为了不让蓝色机器人继续从对抗中学习,没有按照应有的方式玩游戏,而是开始“乱舞”起来,结果,蓝色机器人开始玩得很糟糕,像喝醉了的海盗一样来回摇晃,输掉的游戏数量是正常情况下的两倍。

研究发现,在采取对抗性政策的对局中,获胜不是努力成为一般意义上的强者,而是采取迷惑对手的行动。研究人员通过对对手行为的定性观察来验证这一点,并发现当被欺骗的AI在对对手视而不见时,其表现会有所改善。

我们都知道,让人工智能变得更聪明的一个方法是让它从环境中学习,例如,未来的自动驾驶可能比人类更善于识别街道标志和避开行人,因为它们可以通过海量的视频获得更多的经验。

但是如果有人利用这一方式进行研究中所示的“对抗性攻击”——通过巧妙而精确地修改图像,那么你就可以愚弄人工智能,让它对图像产生错误的理解。例如,在一个停车标志上贴上几个贴纸可能被视为限速标志,同时这项新的研究也表明,人工智能不仅会被愚弄,看到不该看到的东西,还会以不该看到的方式行事。

这给基于深度学习的人工智能应用敲响了一个警钟,这种对抗性的攻击可能会给自动驾驶、金融交易或产品推荐系统带来现实问题。

论文指出,在这些安全关键型的系统中,像这样的攻击最受关注,标准做法是验证模型,然后冻结它,以确保部署的模型不会因再训练而产生任何新问题。

因此,这项研究中的攻击行为也真实地反映了在现实环境中,例如在自动驾驶车辆中看到的深度学习训练策略,此外,即使被攻击目标使用持续学习,也会有针对固定攻击目标进行训练的策略,攻击者可以对目标使用模拟学习来生成攻击模型。

或者,在自动驾驶车辆,攻击者可以通过购买系统的副本并定期在工厂重置它,一旦针对目标训练出了敌对策略,攻击者就可以将此策略传输到目标,并利用它直到攻击成功为止。

研究也对今后的工作提出了一些方向:深度学习策略容易受到攻击,这突出了有效防御的必要性,因此在系统激活时可以使用密度模型检测到可能的对抗性攻击,在这种情况下,还可以及时退回到保守策略。

相关文章

关键词:人工智能

IT之家,软媒旗下科技门户网站 - 爱科技,爱这里。

Copyright (C)RuanMei.com, All Rights Reserved.

软媒公司版权所有