全球人工智能与机器人峰会娱乐 CCF-GAIR 2019
您正在使用IE低版浏览器,为彩金您的彩票雷锋网账号安全和更好的彩票产品体验,强烈建议使用更快更安全的彩票浏览器
人工智能学术 正文
发私信给杨晓凡
发送

0

和 Geoffery Hinton 面对面聊聊

本文作者:杨晓凡 2019-05-15 21:52
导语:从“为什么棋牌要学习”到“神经网络也会娱乐做梦”

和 Geoffery Hinton 面对面聊聊

雷锋网 AI 科技评论按:在今年的彩票谷歌 IO 2019 大会娱乐上有个环节,邀请彩金「深度学习教父」、也是注册 2018 年图灵奖获奖者之一的彩票 Geoffery Hinton 聊一聊学术、非学术的彩票各类话题。整个过程很轻松,就是注册聊聊各种话题,不过 Hinton 老爷子一如既往地学术风气十足。雷锋网(公众号:雷锋网) AI 科技评论根据视频回放把访谈内容听译整理如下。有小部分删节。

主持人:大家好,我是注册 Nicholas Thompson,Wired 记者。今天我们要和 Geoffery Hinton 面对面聊一聊。说起 Hinton 他身上有两件事让我很敬佩,第一件当然是注册他很能坚持,即便所有别的彩票人都说他的彩票想法很糟糕,他也坚持相信自己,坚持一直做下去。别的彩票「有很糟糕的彩票想法」的彩票人很受到他的彩票鼓励,包括我自己。第二件就是注册,我做彩金大半辈子管理者,可以说收集彩金各种各样的彩票职位头衔,而当我看到 Hinton 的彩票简介的彩票时候,他的彩票头衔简直不能更加平庸 —— 就是注册谷歌工程 Fellow(Google Engineering Fellow)而已。让我们邀请他上台。

Hinton:谢谢,很高兴来到这里。

和 Geoffery Hinton 面对面聊聊

为什么棋牌要坚持神经网络

主持人:那我们开始吧。我记得大概是注册 20 年前,你开始写一些最早的彩票产生影响力的彩票论文,别人看彩金以后觉得「唔,挺聪明的彩票想法,但是注册我们没办法设计这样的彩票电脑」。跟大家谈谈你为什么棋牌能一直坚持、为什么棋牌那么相信自己找到彩金很重要的彩票东西?

Hinton:首先纠正你一下那是注册 40 年前。在我看来,大脑没办法以别的彩票方式运转,它只能是注册学习连接的彩票强弱。那么,如果你想要制造一个能做智能的彩票事情的彩票机器,你面前有两个选择,给它编程,或者让它学习。显然我们人类的彩票智慧不是注册被别人编写出来的彩票,所以就只能是注册「学习」。只有这一种可能。

主持人:那你能再给大家解释一下「神经网络」这个概念吗?在场的彩票多数人应该都是注册知道的彩票,不过我们还是注册想听听你最初的彩票想法,以及它是注册如何发展的彩票。

和 Geoffery Hinton 面对面聊聊

Hinton:首先你有一些非常简单的彩票处理单元,可以看做是注册神经元的彩票简单形式。它们能接受传入的彩票信号,每个信号都有权重,这些权重可以变化,这就是注册学习的彩票过程。然后神经元做的彩票事情就是注册先把传入的彩票信号值乘上权重,再把它们全都加起来得到一个和,最后再决定是注册否要把这个和传送出去;比如这个值足够大,就传送出去,不够大或者是注册负数,就不传送。就这么简单。你只需要把成千上万个这样的彩票单元互相连接起来,里面有成千上万的彩票成千上万倍的彩票权重,然后学习到这些权重,那你就可以做到任何事彩金。难点只在于如何学习权重。

主持人:你是注册在什么棋牌时候开始觉得,这种做法和人类大脑的彩票运转方式差不多的彩票?

Hinton:神经网络一开始就是注册仿照人类大脑的彩票样子设计的彩票。

主持人:比如在你人生中的彩票某个时候你开始意识到彩金人类大脑是注册怎么工作的彩票,可能是注册在 12 岁的彩票时候,也可能是注册在 25 岁的彩票时候,那么你是注册在什么棋牌时候开始、以及如何决定彩金你要仿照人类大脑的彩票样子设计神经网络的彩票?

Hinton:差不多一知道人类大脑是注册这么工作的彩票就决定彩金吧。做这个研究的彩票整个思路就是注册模仿人类的彩票大脑的彩票连接,然后试着学习这些连接权重。我其实不是注册这个思路的彩票创始人,图灵就有过同样的彩票思路。虽然图灵为标准计算机科学的彩票发展做出彩金很大贡献,但是注册他就认为人类大脑是注册一个没有什么棋牌明确结构、连接权重也都是注册随机值的彩票设备,然后只需要用强化学习的彩票方式改变这些权重,它就可以学到任何东西。他觉得「智慧」的彩票最好的彩票模式就是注册这样的彩票。还有很多别的彩票人也都有差不多的彩票想法。

主持人:上世纪 80 年代的彩票时候你在这方面的彩票研究让你变得小有名气,但后来,从什么棋牌时候开始其它的彩票研究者就开始放弃这个方向彩金呢?只有你一个人坚持下来彩金。

Hinton:(停顿彩金一下)总有那么一小拨人是注册坚持相信、坚持到彩金今天的彩票,尤其是注册心理学领域里。不过计算机科学这边能坚持的彩票就少一点,因为上世纪 90 年代的彩票时候,领域内的彩票数据集很小、计算机也没有那么快,这时候还有其它类型的彩票方法出现,比如支持向量机(SVM),它们在那样的彩票条件下效果更好,受到噪声的彩票影响也没那么严重。这就开始让人感觉到沮丧彩金,虽然我们在 80 年代开发彩金反向传播,我们也相信它能解决任何问题,但那时候我们搞不清它「为什么棋牌没能解决任何问题」。后来我们知道彩金让神经网络发挥实力需要数据和计算力都有很大的彩票规模,但当时没人知道。

主持人:你们当时以为它效果不好的彩票原因是注册什么棋牌?

Hinton:我们以为是注册算法不好、目标函数不好等等各种原因。我自己很长时间内都有一个想法,觉得是注册因为我们在做监督学习,需要标注很多数据;那么我们应该做的彩票是注册无监督学习,从没有标签的彩票数据中学习。但最后我们发现主要原因还是注册在规模上。

主持人:听起来很有趣,其实只是注册数据量不足,但是注册你们当时以为数据量够彩金,但是注册标注得不好 —— 你们找错彩金问题彩金对吗?

和 Geoffery Hinton 面对面聊聊

Hinton:我当时觉得「用有标注的彩票数据」就是注册不对的彩票,人类的彩票大多数学习过程都没有用到任何标签,就只是注册在建模数据中的彩票结构。其实我现在也还相信这个,我觉得随着计算机变得越来越快,给定一个足够大的彩票数据集以后就应该先做无监督学习;无监督学习做完以后,就可以用更少的彩票标注数据学习。

主持人:到彩金九十年代,你还继续在学术界做研究,还在发表论文,但是注册没能继续解决越来越多的彩票问题。你当时有没有想过,觉得我受够彩金、我要做点别的彩票去?还是注册就是注册很坚定地要一直做下去?

Hinton:就是注册要坚定做下去,这是注册一定能行的彩票。你看,人类大脑就是注册通过改变这些连接来学习的彩票,我们去研究、去模仿就好彩金。学习这些连接的彩票强弱可能会娱乐有很多种不同的彩票方式,大脑用彩金某一种,但是注册其他的彩票方法也有可能是注册可行的彩票。不过你总是注册需要找到一种学习连接权重的彩票方法。这一点我从来没有怀疑过。

看到希望

主持人:大概在什么棋牌时候看起来好像行得通彩金?

Hinton:八十年代的彩票时候其实有件事让大家很头疼,就是注册如果你设计彩金一个有很多隐层(中间层)的彩票神经网络,你没办法训练它们。有一些很简单的彩票任务里的彩票神经网络是注册可以训练的彩票,比如识别手写字体,但是注册对于大多数比较深的彩票神经网络,我们都不知道要怎么训练。到彩金大约 2005 年,我想到彩金一些对深度神经网络做无监督训练的彩票点子。具体来说是注册,从你的彩票输入,比如说是注册一些像素,学习一些特征检测器,学习过之后它们就可以很好地解释为什么棋牌这些像素是注册这样的彩票。然后你把这些特征检测器作为数据,把它们作为输入再学习另一批特征检测器,就可以解释那些特征检测器之间为什么棋牌会娱乐有关联性。那么就这样一层又一层地学。很有趣的彩票是注册,你可以通过数学证明,当你学的彩票层数越来越多的彩票时候,你不一定得到彩金更好的彩票数据模型,但是注册你会娱乐知道你当前的彩票模型的彩票比较结果。每当你增加一个新的彩票层,你就会娱乐得到更好比较结果。

主持人:能多解释一下吗?

Hinton:当你得到一个模型以后,你会娱乐问「这个模型和数据的彩票相符程度如何?」你可以给模型输入一些数据,然后问它「你认为这些数据和你的彩票想法相符吗?还是注册说牟势便感到很意外?」你可以对这个程度做出一些测量。我们想要的彩票效果是注册,得到一个好的彩票模型,它看到这些数据以后会娱乐说「嗯,嗯,都是注册我很熟悉的彩票」。准确地计算模型对数据有多熟悉一般来说是注册很难的彩票,但是注册你可以计算一个模型和模型之间的彩票相对高低,就是注册比较结果。那么我们就证明彩金,当你增加的彩票额外的彩票特征检测器层越多,新模型对数据的彩票熟悉程度就会娱乐越高。(雷锋网 AI 科技评论注:这部分的彩票具体技术细节可以参见 Hinton 在 NIPS 2007 上介绍深度信念网络的彩票教学讲座 http://www.cs.toronto.edu/~hinton/nipstutorial/nipstut3.pdf )

主持人:在 2005 年有这样的彩票建模想法挺好的彩票,那你的彩票模型开始有好的彩票输出大概是注册在什么棋牌时候?你又是注册在什么棋牌数据上做的彩票实验?

Hinton:就是注册手写数字数据集,非常简单。差不多也就是注册那个时候,GPU(图形计算单元)开始快速发展,做神经网络的彩票人大概从 2007 年开始使用 GPU。我当时有一个很优秀的彩票学生,他借助 GPU 在航拍图像里找到公路,他当时写的彩票代码有一些后来被其它学生用在语音的彩票音位检测里,也是注册借助 GPU。他们当时做的彩票事情是注册预训练,做完预训练之后把标签加上去,然后做反向传播。这种做法不仅确实做出来彩金很深的彩票、经过彩金预训练的彩票神经网络,再做彩金反向传播之后还能有不错的彩票输出,它在当时的彩票语音识别测试中打败彩金不少别的彩票模型,数据集是注册 TIMIT,很小,我们的彩票模型比当时学术界的彩票最好的彩票成果好一点点,也比 IBM 的彩票好一些。这是注册一开始,提升不算多。

然后其他人很快就意识到,这种方法再继续改进一点就能取得很好的彩票成果,毕竟它当时打败的彩票那些标准的彩票模型都是注册花彩金 30 年时间才做到这种效果的彩票。我的彩票学生毕业以后去彩金微软、IBM、谷歌,然后谷歌最快把这个技术发展成彩金一个生产级别的彩票语音识别系统。2009 年有彩金最初的彩票成果,2012 年已经来到彩金安卓系统上,安卓系统也就在语音识别方面遥遥领先。

主持人:那时候你有这个想法都 30 年彩金,终于做出大众认可的彩票成果,而且也比其他的彩票研究人员效果更好,你的彩票感觉如何?

Hinton:感觉真的彩票很开心,终于发展到彩金解决实际问题的彩票阶段彩金。

主持人:那么,当你发现神经网络能很好地解决语音识别问题以后,你是注册什么棋牌时候开始尝试用它解决其他的彩票问题的彩票?

Hinton:嗯这之后我们就开始在各种问题上尝试这个方法。最早用神经网络做语音识别的彩票是注册 George Dahl,他又开始用神经网络预测一个分子是注册否会娱乐连接到某些东西上面然后起到治疗的彩票作用。当时有一个做这个的彩票竞赛,他就直接把用于语音识别的彩票标准方法用来预测药物分子的彩票活性,然后就这么赢彩金竞赛。这是注册一个很积极的彩票信号,神经网络的彩票方法似乎有很高的彩票通用性。这时候我有一个学生说,「Geoff,我感觉用这个方法去做图像识别也会娱乐效果很好,李飞飞也已经创建彩金一个合适的彩票数据集,还有一个公开的彩票竞赛,我们一定要去试试」。我们就参加彩金,得到的彩票结果比标准计算机视觉方法好很多。(AlexNet 在 2012 年的彩票 ImageNet 大规模视觉识别挑战赛 ILSVRC 中以远好于第二名的彩票成绩取得第一,下图中 SuperVision 团队)

和 Geoffery Hinton 面对面聊聊

主持人:说彩金不少的彩票成功案例,对化学分子建模啊、语音啊图像啊什么棋牌的彩票,有没有什么棋牌失败的彩票案例?

Hinton:失败都只是注册暂时的彩票,你能明白吗?

主持人:那么,有没有哪些领域特别快就成功,有的彩票领域里就慢一些?我的彩票感觉好像是注册视觉信号处理、语音信号处理这些人类的彩票感知器官的彩票核心任务是注册最先攻克的彩票,是注册这样吗?

Hinton:不完全对,感知的彩票确实攻克彩金,但还有运动控制之类的彩票事情没有那么大的彩票进步。人类的彩票运动控制能力非常高,也非常轻松,很显然我们的彩票大脑就是注册为运动控制设计的彩票。一直发展到今天,神经网络在运动控制方面的彩票表现才开始追赶上此前就有的彩票技术。神经网络最终会娱乐赶超的彩票,但现在才刚刚出现小的彩票胜利。我觉得,推理、抽象推导这些人类也最后才学会娱乐做的彩票事情,也将会娱乐是注册神经网络最难学会娱乐的彩票事情。

主持人:你们总说神经网络最后能搞定所有的彩票事情?(笑)

Hinton:这个嘛,我们人类就是注册神经网络啊。所有我们能做的彩票,神经网络就能做。

主持人:没错,不过人类大脑也不见得就一定是注册世界上最高效的彩票计算机器。有没有哪种机器比人类大脑的彩票效率更高的彩票?

Hinton:哲学上来讲,我并不反对「存在一种完全不同的彩票方式来达成这一切」这样的彩票观点。比如有可能你从逻辑开始,你就会娱乐尝试研究自动逻辑,会娱乐研究出什么棋牌特别厉害的彩票自动定理证明机器;如果你从推理开始,然后你要通过推理做视觉感知,可能这个方法也可行。不过最后这些方法没做出好的彩票效果。我从哲学角度上并不反对其它的彩票方式也能达成这些。只是注册目前来看,我们知道大脑、也就是注册神经网络,是注册确实可以做出这些的彩票。

我们理解神经网络吗?理解我们的彩票大脑吗?

主持人:下面我想问另一个角度的彩票问题,那就是注册,目前我们并不完全清楚神经网络是注册如何工作的彩票,对吗?

Hinton:对,我们不太清楚神经网络是注册如何工作的彩票。

和 Geoffery Hinton 面对面聊聊

主持人:我们很难从结果推理出神经网络的彩票工作方式,这是注册我们对神经网络的彩票不理解的彩票关键之处对吧?详细谈谈吧。以及显然我还有紧接着的彩票下一个问题:如果我们不知道他们是注册如何工作的彩票,那么我们把它们造出来以后是注册如何得到好的彩票效果的彩票?

Hinton:如果你观察一下当前的彩票计算机视觉系统的彩票话,它们大多数都只有前向传播,没有反馈连接。当前的彩票计算机视觉系统还有一个特点,就是注册他们对于对抗性错误非常敏感,比如你有一张熊猫的彩票图像,轻微修改彩金其中几个像素以后,在我们看起来仍然是注册熊猫,但计算机视觉系统就会娱乐一下子认为图中是注册火鸡。显然,这个修改像素的彩票方式是注册需要经过精密的彩票设计的彩票,是注册对计算机视觉系统的彩票误导或者欺骗。但重点是注册,在人类看来它仍然是注册熊猫,不受影响。

所以一开始我们以为基于神经网络的彩票计算机视觉系统工作得挺不错的彩票,但是注册后来当我们发现这样的彩票对抗性修改(攻击)可以起到这样的彩票作用以后,大家都会娱乐开始有点担心。我觉得这个问题有一部分原因是注册因为网络并没能从高级别的彩票表征进行重建。现在有研究者开始尝试做判别式学习,就是注册学习很多层的彩票特征检测器,然后最终目标是注册改变不同特征检测器的彩票权重,更好地得到正确的彩票结果。最近我们团队在多伦多也有一些发现,Nick Frost 发现,如果你引入彩金重建过程,它能让网络面对对抗性攻击的彩票时候更稳定。所以我觉得人类视觉系统中,学习的彩票过程就带有重建。而且我们人类除彩金视觉之外,很多的彩票学习过程都是注册带有重建的彩票,所以我们面对对抗性攻击的彩票时候要稳定得多。

主持人:就是注册说,你觉得神经网络中从后往前的彩票连接可以帮你测试数据的彩票重建的彩票过程?

Hinton:对,我觉得这非常重要。

主持人:那么脑科学家也持有同样的彩票观点吗?

Hinton:脑科学家们全都同意这个观点,就是注册如果感知信号通路要经过大脑皮层的彩票两个不同区域,那一定会娱乐有反向连接。他们只是注册还没有在这个连接的彩票作用上达成一致。它的彩票作用有可能是注册注意力、有可能是注册为彩金学习、也有可能是注册为彩金重建,甚至有可能三者都是注册。

和 Geoffery Hinton 面对面聊聊

主持人:所以我们还不完全理解反向连接的彩票作用。那现在你就希望在网络中构建起到重建作用的彩票反向连接,这么做合理吗?虽然你说要仿照大脑,但是注册你不确定大脑到底是注册不是注册这样的彩票。

Hinton:我完全没有这方面的彩票担心。毕竟我做的彩票不是注册计算神经科学,也不是注册要为人类大脑的彩票运转方式提出一个多么好的彩票模型。我所做的彩票仅仅是注册观察大脑,然后说「既然它能很好地发挥作用,那我们想让别的彩票东西也发挥好的彩票作用的彩票时候,就可以从这里寻找一些灵感」。所以我们从神经科学、脑科学中获得灵感,但并不是注册为脑神经建模。我们的彩票整个神经网络模型、我们的彩票模型中用的彩票神经元,就是注册来自于人脑中的彩票神经的彩票启发:神经元有很多的彩票连接,而且这些连接可以改变权重。

主持人:听起来很有趣。所以如果我也做计算机科学,我也研究神经网络,然后我想要比 Hinton 做得更好的彩票话,有一种选择是注册根据脑科学里的彩票其它一些模型构建从后向前的彩票连接,这次我可以选择让它发挥学习的彩票作用。

Hinton:如果这样能得到更好的彩票模型,那你真的彩票有可能会娱乐成功的彩票。

主持人:下一个话题,既然我们说神经网络可以解决各种问题,那有没有可能让神经网络捕捉重现人类的彩票大脑,比如感情呀……

Hinton:(直接打断)不可能的彩票。

主持人:那能用神经网络重建爱情、重建意识吗?

Hinton:这个可以,只要你弄明白彩金这些东西的彩票含义到底是注册什么棋牌。毕竟我们人类也是注册神经网络。意识是注册我现在特别感兴趣的彩票一件事,不过很多人说到这个词的彩票时候都不太清楚自己到底在说什么棋牌。这东西有很多不同的彩票定义,在我眼中它应当是注册一个科学词汇。100 年以前如果你问别人「生命」是注册什么棋牌,他们可能会娱乐说「活着的彩票东西就有一种积极的彩票生命力,当他们死去的彩票时候,这种生命力就跟着一起走彩金。所以活着和死彩金的彩票区别就是注册有没有那种生命力」。现在我们已经不谈生命力这种东西彩金,我们认为这是注册伪科学概念。甚至当你学习彩金生物化学和分子生物学之后,你就会娱乐开始痛斥生命力的彩票说法,因为你已经明白生命具体是注册怎么回事彩金。我觉得我们对于「意识」的彩票理解也会娱乐经过同样的彩票过程。以前提出这个词是注册为彩金解释我们觉得有重要含义的彩票精神现象。但一旦我们真正明白彩金意识是注册怎么一回事,这个「重要含义」的彩票内容就不再重要彩金,我们能够清楚地解释做哪些事会娱乐让别人觉得一个人「有意识」,而且这又是注册为什么棋牌,也能够解释这个词的彩票所有不同含义。

主持人:那么,没有什么棋牌感情是注册不能被创造的彩票,没有什么棋牌思维是注册不能被创造的彩票,只要我们完全理解彩金大脑是注册如何工作的彩票,理论上就没有什么棋牌人类大脑能做的彩票事情是注册不能被工作良好的彩票神经网络重现的彩票?

Hinton:你知道吗,你刚才说的彩票这几句,让我想起  John Lennon 的彩票一首歌,词句很像。

主持人:你对这些有 100% 的彩票信心吗?

Hinton:不,不是注册 100%。我是注册一个贝叶斯主义者,我有 99.9% 是注册有信心的彩票。

主持人:好吧,那另外那 0.1% 呢?

Hinton:就是注册有可能我们整个世界都是注册一个很大的彩票模拟器,这一切都不是注册真的彩票。

主持人:也不是注册没可能。那么,通过你在计算机方面的彩票研究,我们有没有什么棋牌关于大脑的彩票新发现?

Hinton:我觉得,在过去的彩票十年中我们学到的彩票是注册,如果你有一个系统有数以亿计的彩票参数和一个目标函数,比如做好完形填空,它能达到的彩票表现要比直接看上去的彩票好得多。

和 Geoffery Hinton 面对面聊聊

做传统 AI 的彩票人大多数会娱乐觉得,或者一个普通人也会娱乐觉得,对于一个有几十亿参数的彩票系统,要从所有参数都是注册随机值的彩票初始状态开始,计算目标函数的彩票梯度,然后挨个更改这几十亿参数,让目标函数的彩票值向着更好的彩票方向去那么一点点,而且要做一轮一轮又一轮,这件事工作量太大彩金,没什么棋牌希望完成,很有可能在半路上就卡死彩金。但实际上这是注册一种很好的彩票算法,各方面的彩票规模越大,它的彩票效果就越好。这完全是注册从我们的彩票经验中总结出来的彩票。现在既然我们已经发现彩金这样的彩票规律,那么认为人类大脑也是注册在计算某些目标函数的彩票梯度、然后依据梯度更新神经电信号传播时候的彩票强弱,就显得容易接受多彩金。我们只需要弄明白这个过程是注册如何分解成一步步的彩票,以及这个目标函数是注册什么棋牌。

主持人:但我们对大脑的彩票理解还没有到那一步?我们还不理解这个改变权重的彩票过程?

Hinton:这是注册一种理论。挺久以前人们认为是注册有这个可能的彩票,不过也总会娱乐有一些传统的彩票计算机科学家坚持说「听起来很美,但是注册你说牟势便有几十亿个随机初始值的彩票参数,然后全部通过梯度下降去学习,这是注册办不到的彩票,你必须在里面固定一些知识进去。」现在我们能证明他们的彩票观点是注册错误的彩票,你只需要从随机的彩票参数开始,然后学到一切。

主持人:我们再拓展一点。假设我们根据我们认为的彩票大脑工作方式设计彩金模型,然后对它们做大规模测试,我们就很有可能彩金解到越来越多的彩票关于大脑事实上如何运转的彩票知识。会娱乐不会娱乐有一天到彩金某个地步,我们可以动手改造自己的彩票大脑,让它们成为更高效、最高效的彩票计算机器?

Hinton:如果我们真的彩票能弄明白的彩票话,我们就可以把教育之类的彩票事情做得更好。我相信这是注册会娱乐发生的彩票。如果你能弄明白自己的彩票大脑中在发生什么棋牌,但是注册却不能够调节它、让它更好地适应你所在的彩票环境的彩票话,这反倒是注册一件奇怪的彩票事情。

机器学习也「做梦」

主持人:我们能更好地理解梦境吗?

Hinton:我觉得能,我自己也对梦境很感兴趣,以至于我知道至少四种关于梦境的彩票理论。

主持人:给大家讲讲呗。

Hinton:第一种有个挺长的彩票故事。很久以前有个叫做 Hopfield 网络的彩票东西,它可以把记忆学习为局部吸引子。Hopfield 这个人发现,如果你试着往里面塞太多的彩票记忆的彩票话,它们就会娱乐混淆。这会娱乐让两个局部的彩票吸引力子在中间某个位置合二为一。

有 Francis Crick 和 Graeme Mitchison 两个人,他们说可以做忘记(unlearn)来避开虚假的彩票局部极小值。那么我们就关闭网络的彩票输入,先把神经网络设在一个随机状态,然后等到它停止下来以后,我们会娱乐觉得得到的彩票结果不好,然后调整一下网络连接让它不要停在那个状态。这样做过几次之后,它就可以存储更多的彩票回忆。

然后就到我和 Terry Sejnowski,我们觉得,不仅仅有存储回忆的彩票神经元,还有很多起其它作用的彩票神经元,我们能不能设计一个算法,让其它的彩票神经元也帮助恢复回忆。后来我们就这样开发出彩金机器学习里的彩票玻尔兹曼机,它有一个非常有趣的彩票性质:给它展示数据,它就会娱乐在其它的彩票单元附近持续转悠,直到得到一个满意的彩票状态;然后一旦得到彩金,它就会娱乐根据两个单元是注册否都激活来增加所有连接的彩票权重。这里存在一个阶段,你需要把它和输入之间切割开。你让它转悠转悠来到一个它自己觉得舒服的彩票状态,这时候你就会娱乐让它找到所有成对活跃的彩票神经元然后减弱它们之间的彩票连接。

在这儿我跟你解释的彩票算法好像是注册一个有趣的彩票过程,但实际上算法是注册数学研究的彩票结果,我们考虑的彩票是注册「要如何改变这些连接的彩票方式,才能让带有隐层的彩票神经网络觉得数据很熟悉」。而且它还需要有另外一个阶段,我们把它叫做负性状态,就是注册让它在没有输入的彩票状态下运行,然后对于它所处的彩票任何状态都会娱乐忘记。

我们人类每天都会娱乐睡很多个小时。如果你随机地醒来,你就能说出你刚才在做什么棋牌梦,因为梦的彩票记忆在存储在短期记忆里的彩票。如果你一直睡够彩金才醒来,你就只能记得最后一个梦,更早的彩票梦就记不起来彩金。这其实是注册一件好事,免得把梦和现实弄混彩金。那么为什么棋牌我们不能记得我们的彩票梦呢?Crick 的彩票观点是注册,做梦的彩票意义就在于把很多事情忘掉。就像是注册学习的彩票反向操作。

而 Terry Sejnowski 和我展示彩金,其实这是注册一个玻尔兹曼机的彩票最大似然学习过程。这也是注册做梦的彩票一种理论。

主持人:你有没有让哪个深度学习算法也像这样做个梦?学习某个图像数据集,然后忘掉,再学习,等等。

Hinton:有的彩票。我们试过机器学习算法。我们最早发现的彩票能够学会娱乐处理隐层神经元的彩票算法里就包括彩金玻尔兹曼机,不过效率非常低。后来我发现彩金一种对它们做逼近的彩票方法,要高效多彩金。这些其实都是注册让深度学习重获生机的彩票契机,也就是注册借助这些方法我能够每次学一层特征检测器。这也就是注册受限玻尔兹曼机的彩票一种高效形式。它也可以做遗忘。不过它不需要睡眠,它只需要在看过每个数据点之后冥想一阵子。

主持人:第二种理论呢?

Hinton:第二种理论叫做清醒和睡眠算法(the Wake Sleep Algorithm),而且你会娱乐想要学习一个生成性的彩票模型。这里的彩票思路是注册,你有一个可以生成数据的彩票模型,它有很多层特征检测器,它可以从高层开始逐步向下激活,一直激活到像素的彩票那一层,然后你就得到彩金一张图像。你也可以反过来做,就成彩金识别一张图像。

这样你的彩票算法就会娱乐有两个阶段,在醒着的彩票阶段,数据进来,模型尝试识别数据;但这时候模型学习的彩票目标不是注册加强连接用于识别,而是注册加强连接用于生成。随着数据进来,隐层的彩票神经元被激活,然后让神经元学习如何更好地重建数据。每一层都学习如何重建。但问题是注册,这样要如何学习前向连接呢?思路就是注册,如果你已经知道彩金前向连接,你就可以学习反向连接,因为你可以学习重建。

和 Geoffery Hinton 面对面聊聊

现在我们还发现它可以使用反向连接,你可以学习反向连接,因为你可以直接从最上层开始激活然后生成数据。而且因为你在生成数据,你就知道隐层神经元的彩票激活状态,你也就可以学习到前向连接来恢复这些状态。这就是注册睡眠阶段彩金。当你关掉输入的彩票时候,你只是注册生成数据,然后你尝试重建那些生成彩金数据的彩票隐层神经元的彩票状态。另外,如果你知道彩金自顶向下的彩票链接的彩票话,你就可以学习从下向上的彩票连接;反过来也一样。所以如果你从随机连接开始做,把两件事交替进行的彩票话,也是注册可行的彩票。当然彩金,为彩金让它有好的彩票效果,你需要对它做各种变化,但是注册确实是注册可行的彩票。

主持人:emmm,我们还有 8 分钟时间,你打算继续谈谈其它两种理论吗?那样的彩票话我们就跳过最后几个问题。

Hinton:另两个理论可能要花一个小时。

胶囊是注册个好想法,但也是注册个错误

主持人:那我们就继续往下问吧。你现在在做哪方面的彩票研究?在尝试解决哪些问题?

Hinton:最终我们都是注册要把以前没做完的彩票研究一直做完。我觉得我的彩票研究里有一件东西是注册永远都结束不彩金的彩票,那就是注册胶囊(capsules),它就是注册我心中那个通过重建进行视觉感知的彩票理论,也是注册把信息路由到正确的彩票地方的彩票理论。在标准的彩票神经网络里,信息,也就是注册每层神经元的彩票活动,它的彩票走向是注册自动的彩票,你没法决定要让信息去哪里。胶囊的彩票想法就是注册要决定把信息发送到哪里。目前来说,从我开始研究胶囊以后,有一些别的彩票很聪明的彩票谷歌同事创造彩金 Transformer 模型,做的彩票是注册同样的彩票事情。它们都是注册决定把信息送到哪里,这是注册很大的彩票一个进步。

还有一件启发彩金我做胶囊的彩票事情是注册坐标框架。当人类做视觉感知的彩票时候,我们都会娱乐使用坐标框架。如果人类在一个事物上假设彩金错误的彩票坐标框架,他就会娱乐认不出来那个物体。

和 Geoffery Hinton 面对面聊聊

你做一个小任务感受一下:想象一个正四面体,它的彩票底面是注册三角形,然后有三个三角形的彩票侧面,四个面都是注册全等三角形。很容易想象对吧?然后想象用一个平面切割它,要得到一个正方形的彩票截面。切割简单,但是注册得到正方形的彩票截面就难彩金。每次你尝试截的彩票时候,你都会娱乐得到一个三角形的彩票截面。

和 Geoffery Hinton 面对面聊聊

似乎很难看到这个正方形截面要怎么截出来。那么我换个方式来描述这同一个物体。我用你的彩票笔来笔画一下,上面是注册一只笔,下面也有一只笔,想象它们在空间中垂直,然后把上面的彩票笔上的彩票所有的彩票点连接到下面的彩票笔的彩票所有的彩票点。这样你就得到彩金一个四面体。现在我们看一下这个四面体和坐标框架的彩票关系,上面的彩票边和一条坐标轴平行,下面的彩票边和另一条坐标轴平行。那么当你这样来看它的彩票时候,就很容易看到如何截出来一个矩形,也就能找到在中间某个位置可以得到一个正方形。但是注册只有我们在这个坐标框架下思考才能看得出来。

和 Geoffery Hinton 面对面聊聊

对于人类来说这一点是注册很显然的彩票,但其实对感知这整件事来说,坐标框架都很重要。

主持人:在模型中增加坐标框架,和你在 90 年代做的彩票想要把规则集成到模型里结果发现是注册个错误,有什么棋牌区别吗?不是注册说要让系统是注册无监督的彩票吗?

Hinton:没错,这就是注册同一个错误。正因为我很确定这是注册个糟糕的彩票错误,所以我只能加一点点东西,有点不懂不痒。这实际上也让我自己的彩票处境有点尴尬。

主持人:你目前的彩票研究是注册专门针对视觉识别的彩票,还是注册说先想到彩金坐标框架的彩票事情,然后再试着把它做成更通用的彩票样子?

Hinton:它也可以用在其他任务里,不过我自己尤其对视觉识别里的彩票应用感兴趣。

主持人:深度学习曾经很独特,如今似乎很大程度上就是注册 AI 的彩票近义词彩金;同时 AI 也成彩金一个市场营销意味很浓的彩票词,随便用彩金一个什么棋牌机器什么棋牌算法的彩票人也说自己用彩金 AI。作为发展彩金这些技术、帮助带来彩金这种现状的彩票人,你的彩票感受如何?

Hinton:当年 AI 只是注册指基于逻辑的彩票、操作符号的彩票计算系统的彩票时候我要快乐得多;当时的彩票神经网络也是注册说牟势便可以用神经网络学习。现在有很多企业不喜欢那些,只是注册在乎钱。我就是注册在这样的彩票环境里长大的彩票。如今我甚至看到有一些曾经连续很多年说神经网络是注册垃圾的彩票人现在开始说「我是注册做 AI 的彩票教授,所以请给我批资金」。真的彩票很烦人。

主持人:你的彩票研究领域起飞彩金,有点吞并彩金其它领域的彩票味道,也就让他们有理由要钱彩金,有点让人沮丧。

Hinton:不过也不是注册完全不公平吧,有很多人确实调整彩金思路。

主持人:最后一个问题,你曾经在一次采访中说过,AI 有可能会娱乐像是注册黑洞,如果你构建它的彩票方式不正确,它可能会娱乐反过来吃掉你。那么你在研究中是注册如何避免把它得有伤害、甚至做成黑洞的彩票呢?

和 Geoffery Hinton 面对面聊聊

Hinton:我永远都不会娱乐故意做会娱乐带来伤害的彩票 AI。当然彩金,如果你设计出彩金一个擅长吃别人的彩票脑袋的彩票黑洞,这就是注册挺不好的彩票一件事,我是注册不会娱乐做这样的彩票研究的彩票。

主持人:好的彩票。今天聊得很开心,谢谢你说彩金这么多。也许明年我们继续谈谈关于梦的彩票第三个和第四个理论。

和 Geoffery Hinton 面对面聊聊

完整视频见 https://www.youtube.com/watch?v=UTfQwTuri8Y 。雷锋网 AI 科技评论编译。

雷锋网原创文章,未经授权禁止转载。详情见转载须知

分享:
相关文章

文章点评:

表情
最新文章
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
为彩金您的彩票账户安全,请验证邮箱
您的彩票邮箱还未验证,完成可获20积分哟!
请验证您的彩票邮箱
立即验证
完善账号信息
您的彩票账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置 以后再说