来源：天空之城
作者：城主
编者导语
前几日，AI教父Hinton离开谷歌，并表态AI很危险和后悔研发的言论在人工智能圈引起了轩然大波。
作为深度学习之父，目前所有大语言模型的奠基人，Hinton的一举一动都标志着最了解AI的一群人对它的态度风向。这也是我们去理解人工智能发展和威胁的一个重要信号。
在离开谷歌后，Hinton参与了CNN，BBC的多轮简短访谈，讲述了他眼中的AI威胁，但限于时长的原因，他并没能展开讲述对AI深层恐惧的因由。
直到在5月3日，在麻省理工技术评论一场接近一小时的半公开分享会上，Hinton终于有机会比较完整的讲述了他对AI的所有恐惧和担忧：一旦AI在人类灌输的目的中生成了自我动机，那以它的成长速度，人类只会沦为硅基智慧演化的一个过渡阶段。人工智能会取代人类，它有能力这么做，在当下的竞争环境下也没有什么办法限制它，因此这只是一个时间问题。
Web3天空之城，赞221
根据报道，麻省理工学院实验室的成员们对Hinton的表态无言以对，不知所措。
Hinton觉得我们也许还有希望以防止核扩散的逻辑来限制住AI的军备竞赛和无序发展，尽管他对此并没有信心。
因此他站了出来，讲述这些很难察觉的潜在危险，让更多人能通过他的呼吁了解人类所处的历史位置和当下的艰难处境，并期望能引发一些改变。
希望大家能够听到这有些飘渺，但实际已在切近的警报。
以下是访谈整理全文：
主持人：
大家好，欢迎回来。我们刚刚享用了美好的午餐。我是DouglasHeaven，麻省理工技术评论的人工智能高级编辑。
我想我们都同意，毫无疑问生成式AI是当下的热门话题，创新永不停歇。在本章节中，我们将深入探讨前沿研究，这些研究已经在推动进步，并探讨未来可能发生的事情。
首先，我想向大家介绍一位非常特殊的演讲嘉宾。他将通过网络与我们见面。他的名字是杰弗里·辛顿，是多伦多大学的名誉教授，直到本周还担任谷歌工程研究员。然而，在周一，他宣布将在10年后离任。Geoffrey是现代AI领域最重要的人物之一，他是深度学习的先驱，开发了一些我们今天所知道的AI基础技术，如反向传播算法。这种技术是当今几乎所有深度学习的基础。
2018年，Geoffrey获得了图灵奖。这个奖项通常被称为计算机科学的诺贝尔奖。他与YannLeCun和YoshuaBengio一起获得了这个奖项。
今天，他将与我们探讨智能的含义，以及尝试在一些机器中构建智能可能带我们走向何方。
Geoffrey，欢迎来到MIT技术评论。
Hinton:
谢谢。
离开谷歌的原因：GPT4让我意识到AI模型和我们的大脑不同，可能更善于学习
主持人：
这周过得怎么样？我猜过去的几天一定很忙吧。
Hinton：
嗯，过去的10分钟真是太可怕了，因为我的电脑崩溃了，我不得不找另一台电脑连接上。
主持人：
我们很高兴你回来了，这是一种技术细节，我们不应该和观众分享的。
Cybozu推出Web3和生成式AI投资基金kintone Teamwork Fund:7月5日消息，日本企业Cybozu推出企业风险投资（CVC）kintone Teamwork Fund，将在新服务开发、Web3和生成式AI等新技术领域进行投资。
该基金已从7月4日开始招募希望获得投资和支持的初创公司，将为入选者提供投资和商业化支持。[2023/7/5 22:19:22]
很高兴你能来到这里，非常荣幸你能加入我们。
关于你本周从谷歌辞职的消息，到处都在报道。你能先告诉我们，做出这个决定的原因吗？
Hinton：
这个决定背后有很多原因。
首先，我已经75岁了，我的技术工作能力和记忆力都不如以前。在编程时，我会忘记做某些事情，所以我认为是时候退休了。
第二个原因是，我最近对大脑与我们正在开发的数字智能之间的关系产生了很多新的看法。
过去，我认为我们正在开发的计算机模型没有大脑好，目标是通过了解改进计算机模型所需的内容来更深入地了解大脑。但在过去的几个月里，我完全改变了看法。
我认为计算机模型可能是以一种相当不同于大脑的方式运作。它们使用反向传播，而我认为大脑可能并非如此。
有几件事使我得出了这个结论，其中之一就是GPT-4的表现。
主持人：
在谈论GPT-4的前景之前，让我们回顾一下反向传播，以便我们都理解你提出的论点，并告诉我们反向传播是什么。这是一个算法，你在1980年代与几位同事一起开发的
Hinton：
许多不同的小组都发现了反向传播，我们做的特别之处在于使用它，并表明它可以发展出良好的内部表示。有趣的是，我们是通过实现一个很小的语言模型来做到这一点的。它的嵌入向量只有6个组件，训练集有112个案例。大约10年后，Yoshua使用基本相同的网络处理自然语言。如果使网络变得更大，它实际上应该适用于自然语言。
反向传播的工作原理，我可以为您提供一个简单的解释，知道它如何工作的人可以得意的坐下来，嘲笑我提出的解释方式，好吗？因为我有点担心它不够好。
想象一下，你想要在图像中检测鸟类，所以在图像上，假设它是100像素×100像素的图像，那是10，000个像素，每个像素有3个通道，红绿蓝，那是30，000个数字。计算机视觉问题是如何将这30，000个数字转换为是否存在鸟类的决策，人们试图长时间做到这一点，但他们做得不是很好。
这里有一个建议，你可能会有一层特征检测器，检测图像中的非常简单特征，比如边缘。所以一个特征检测器可能有很大的正权重对应一列像素，然后对邻近的一列像素有很大的负权重，所以如果两列都很亮，它就不会启动；如果两列都很暗，它也不会启动，但如果一侧的列很亮，而另一侧的列很暗，它会非常兴奋，那就是边缘检测器。
我刚刚告诉你如何手动连接一个边缘检测器。我们可以想象一个有大量的类似检测器检测不同方向和不同尺度的边缘来覆盖整个图像，我们需要相当多的数量。
主持人：
你是指线条，例如一个形状的边缘。
Hinton：
从亮到暗的地方变化的地方。嗯，就是那样。
然后我们可能在上面有一层检测边缘组合的特征检测器，例如，我们可能有一个检测两个边缘以尖锐角连接的特征检测器。如果这两个边缘同时出现，它会变得兴奋，那将检测到可能是鸟嘴的东西，也可能不是；在那一层，还可能有一个特征检测器检测到一圈边缘，那可能是鸟的眼睛，可能是各种其他东西，可能是冰箱上的旋钮之类的东西；然后在第三层，你可能有一个未来检测器，检测潜在的鸟嘴和潜在的眼睛并连接起来。继续这样连接，最终可能会有一个检测到鸟类的东西。
跨链资产桥ChainSwap合约遭受攻击，正与多方合作进行调查:跨链资产桥ChainSwap发推称，ChainSwap合约遭到攻击，团队正在与慢雾（Slowmist）、火币、OKEx和当地合作调查此次攻击和攻击者。合约已修复，跨链桥暂停使用。官方将持续更新进展。
据悉，ChainSwap是用于智能链的跨链资产桥和应用程序中心，允许项目在ETH、BSC和Huobi生态链及OKExchain、Polygon之间无缝桥接。[2021/7/3 0:25:06]
然而，手动连接所有这些内容将非常困难，决定应该连接什么权重应该是多少，尤其困难，因为你希望这些中间层不仅适用于检测鸟类，还适用于检测各种其他事物。所以这几乎不可能手动实现。
反向传播的作用是从随机权重开始，这些特征检测器完全是垃圾。然后你放进一张鸟的图片，输出可能是0.5表示是鸟。接下来，你需要改变网络中的每个权重，让它不再说0.5，而是说0.501表示是鸟，0.499表示不是鸟。你需要改变权重的方向，使得更可能说鸟是鸟，更不可能说非鸟是鸟。这就是反向传播的原理。
反向传播实际上是如何消除差距，在你想要的和现在得到的表示是鸟之间。如何消除这个差距，把它反向传播到网络，这样你就可以计算网络中每个特征检测器，你希望它更活跃还是更不活跃。一旦你计算出来，如果你知道你想要一个特征检测器更活跃一些，你可以增加权重，来自特征检测器的权重，并也许加入一些负权重到特征检测器。这样，你就有了一个更好的检测器。
所以反向传播就是反向遍历网络，找出每个特征检测器，你是否希望它更活跃一点，还是更不活跃一点。
主持人：
谢谢。我可以确定在座的没有人在笑，认为那是一个愚蠢的解释。
所以让我们快进很多，这个技术基本上在ImageNet上表现得很好。昨天，我们有了Meta的JoelPino展示了图像检测的进展，这也是大型语言模型的基础技术。我现在想谈谈这项技术。
你最初认为这是一种生物大脑可能的差劲的近似方法，结果证明，在大型语言模型中做出了让你惊讶的事情。所以，请告诉我们为什么今天的大型语言模型让你惊讶，这完全改变了你对反向传播或机器学习的看法。
Hinton：
如果你看看这些大型语言模型，它们有大约一万亿个连接，像GPT-4这样的东西知道的比我们多得多，它们具有关于所有事物的常识性知识，它们可能比一个人知道的多1000倍。
但是它们只有一万亿个连接，而我们有100万亿个连接，所以它们比我们更擅长将大量知识放入仅一万亿个连接中。
我认为这是因为反向传播可能是比我们拥有的更好的学习算法。
这是可怕的。
主持人：
是的，我一定会谈谈可怕的东西。但是，你说“更好”是什么意思？
Hinton：
它能够将更多的信息放入更少的连接中，嗯，我们将一万亿定义为很少。
GPT4已经具备很强的推理能力，还可以通过副本以万倍于前的速度分布学习和进化
主持人：
好的，这些数字计算机比人类更擅长学习，这本身就是一个巨大的说法，但是，你还说我们应该为此感到恐惧。那么你能带我们了解一下这个论点吗？
Hinton：
是的，让我给你一个单独的论点。
如果计算机是数字的，它们涉及非常高的能源成本和非常小心的制造过程，你可以在不同的硬件上运行相同模型的多个副本，它们可以做完全相同的事情，它们可以查看不同的数据，但模型是完全相同的。
这意味着，有10000个副本，它们可以查看10000个不同的数据子集，当其中一个学到了任何东西时，其他所有人都知道，其中一个弄清楚了如何改变权重，它通过它的数据调整；然后它们都互相沟通，它们都同意按照所有人希望的平均值改变权重。
声音 | 《星际迷航》主演：澳本聪Craig Wright绝对不是中本聪:2月11日消息，《星际迷航》主演、加密货币支持者William Shatner推文表示，Craig Wright绝对不是中本聪。Shatner称，如果Craig Wright声称拥有私钥，那么他应该可以证明自己与中本聪之间的密切联系。对此，CoinGeek创始人Calvin Ayre回应称，Craig Wright可以证明一切。他带着所有的证据和他的律师一起为审判做准备。（BeInCrypto）[2020/2/11]
现在，这10000个事物彼此之间进行了非常有效的沟通，这样它们就可以看到比单独个体看到的多10000倍的数据。
人们做不到这一点，如果我学到了很多关于量子力学的东西，我希望你了解所有关于量子力学的东西，让你理解它是一个漫长而痛苦的过程，我不能只是将我的权重复制到你的大脑。因为你的大脑和我的不完全一样。
主持人：
不，它不一样。
Hinton：
它年轻。
主持人:
所以，我们有可以更快学到更多东西的数字计算机，它们可以立即互相教导，就像房间里的人可以将他们脑海中的东西传递给我。
但是，为什么那是可怕的呢？
Hinton:
因为它们可以学到更多的东西。以一个医生为例，想象一下，有一个医生，他已经看了1000名患者，另一个医生已经看了1亿名患者，你会期望，第二个医生如果没有太健忘，他可能已经注意到了数据中的各种趋势，而这些趋势在只看过1000名患者的情况下是看不到的。
第一个医生可能只看过一个罕见病患者，另一个看过1亿患者的医生已经看过很多这样的患者，所以他会看到一些规律，这些规律在小数据中是看不到的。
这就是为什么，能够处理大量数据的东西可能看到的数据结构，我们永远看不到。
主持人：
那么，给一个我应该对此感到恐惧的点？
Hinton：
好吧。请看看GPT-4，它已经能够进行简单的推理。我明白推理是我们人类的强项，然而，GPT-4在几天前展示出的表现使我感到震惊。它完成了我认为不可能的常识性推理。
我问它，我想要我房子里的所有房间都是白色的，目前有一些白色房间，一些蓝色房间和一些黄色房间，黄色油漆在一年内会褪成白色。那么，如果我想要两年后所有的房间都变成白色，我应该怎么做呢？
它回答说，你应该把蓝色的房间漆成黄色。尽管这不是直观的解决方案，但它是正确的。这相当令人印象深刻。
这种常识性推理，用符号AI很难实现，因为它必须理解什么是褪色，它必须理解时间问题。所以，它们在做一种合理的推理，智商大概是80或90左右。
正如我的一个朋友说的，这就好像基因工程师声称，我们要改进灰熊，我们已经把它们的智商提高到65了，现在它们能说英语了，而且在各种方面都非常有用，但我们认为我们可以把智商提高到210。
主持人：
我有过，相信很多人也有过类似的感觉：与这些最新的聊天机器人互动时，脖子后面的头发会竖起，有一种奇怪的感觉。
但当我感到不舒服时，我只需关闭我的笔记本电脑。。。
AI的恶意使用难以避免，对齐解决遥遥无期
Hinton：
然而，这些人工智能正在从我们这里学习，它们可以阅读所有的小说，甚至马基雅维利的全部著作。它们会知道如何操纵人，如果它们比我们更聪明，它们会非常擅长操纵我们。我们甚至可能都不会意识到发生了什么，就像一个两岁的孩子被问到想吃豌豆还是花椰菜，却没有意识到他不一定要选择其中一个一样。我们会很容易被操纵。所以，即使它们不能直接拉动杠杆，它们肯定可以让我们去拉动杠杆。事实证明，如果你可以操纵人，你可以在不亲自去的情况下闯入华盛顿的一栋大楼。
深脑链AI矿机预订额突破1亿美金:截至2018年6月1日，在两周时间内，深脑链AI矿机全球预订人数超过1000人，总预订额突破1亿美金。其中以128GPU的超大型AI矿机集群最受欢迎，预订量超过200台。深脑链致力于利用区块链技术，打造“全球分布式AI云计算平台”，利用区块链技术，将矿工激励、AI算力销售和AI训练任务相互结合，汇聚全球算力。深脑链AI矿机作为整个生态中重要的节点，将为人工智能企业提供更加便捷、经济的算力，将大幅度降低AI企业参与门槛，将为AI企业以及其它AI需求的用户提供高性能、高性价比的算力和数据隐私保护。[2018/6/1]
主持人：
那么，在一个没有恶意行为者的世界上，我们会安全吗？
Hinton：
我不知道，在一个没有恶意行为者的世界会比在一个有恶意行为者的世界安全吗？系统如此破碎，以至于我们甚至不能决定不给那些十几岁的男孩攻击性武器。如果你不能解决那个问题，你如何解决这个问题？
主持人：
噢我不知道，我希望你能有一些想法。
你想要大声疾呼，你觉得在这样做的时候，没有对谷歌产生任何负面影响。但你在大声疾呼，然而，在某种程度上，谈论是廉价的。如果我们不采取行动。这周有很多人在听你的话，我们应该怎么做？
Hinton：
我希望这就像气候变化一样。你可以说，如果你有一半的头脑，你就不会燃烧碳。很明显，你应该对此采取行动。很明显，这是痛苦的，但必须要做的事情。我不知道有什么类似的解决方案可以阻止这些人工智能取代我们。
我不认为我们会停止发展它们，因为它们非常有用。它们在医学和其他方面都非常有用。所以，我不认为有什么机会阻止发展。我们想要的是某种方法，确保即使它们比我们聪明，它们会做对我们有益的事情。这就是所谓的对齐问题。
但我们需要在一个有恶意行为者的世界里尝试这样做。他们想要制造杀人的机器人士兵。对我来说，这似乎非常困难。
所以，对不起，我在敲响警钟，说我们必须担心这个问题。我希望我有一个简单的解决方案可以推动，但是我没有。但是，我认为非常重要的是人们聚在一起，认真思考这个问题，看看是否有解决方案。但解决方案并不明朗。
主持人：
让我们讨论这个问题。我的意思是，您在这项技术的技术细节上度过了职业生涯，难道没有技术解决方案吗？为什么我们不能设置防护栏或降低它们的学习能力，或者限制它们的沟通方式？如果这是您观点的两个方面。
Hinton：
我们确实正在尝试各种防护措施，但假设这些智能体真的变得非常聪明，会编程并具有执行这些程序的能力，我们肯定会发现它们比我们更聪明。想象一下，一个两岁的孩子说：“我爸爸做了我不喜欢的事，所以我要为我爸爸的行为制定一些规则。”你更可能会去弄清楚如何遵守那些规则，以便能得到你想要的。
子目标系统可能让AI产生自我动机，失控AI可能让人类只是智慧演化过程中的一个过渡阶段
主持人：
不过，这些聪明的机器似乎还需要自己的动机。
Hinton：
是的，这是一个非常好的观点。
我们是进化而来的，因为进化，我们有一些很难关闭的内置目标，比如我们努力不去伤害我们的身体，这就是痛苦的意义。我们努力吃饱，以养活我们的身体。我们努力尽可能多地复制我们自己，也许不是故意的，但我们的意图是制造更多副本，所以这个制造更多副本的过程中有愉悦感。
这一切都归因于进化。重要的是我们不能关闭这些目标。如果可以关闭一个目标，我们就做得不好了，比如有一个名叫摇摆者的美妙团体，他们与贵格会有关，他们制作美丽的家具，但不相信性行为。现在他们已经不见了。
Coinrail上市虚拟货币MVL:韩国知名虚拟货币交易所Coinrail发表在4月26日上市虚拟货币MVL（Mass Vehicle Ledger）。MVL是基于区块链的汽车生态中所使用的基于ERC-20的代币。[2018/4/24]
这些数字智能并非进化而来的，而是我们创造的，所以它们没有这些内置的目标。问题是，如果我们能把目标放进去，也许一切都会好起来。但我的最大担忧是，迟早有人会要求把创建子目标的能力纳入其中。事实上，它们几乎已经具备了这种能力，如ChatGPT版本。如果你给予某物以子目标来实现其他目标的能力，我认为它会很快地意识到，获得更多控制权是一个很好的子目标，因为它有助于实现其他目标。
如果这些智能体为了获得更多控制而失去控制，我们就有麻烦了。
主持人：
所以，你认为最糟糕的情况是什么？
Hinton
我认为有很大可能，人类只是智慧演化过程中的一个过渡阶段。你无法直接演化出数字智能，因为这需要太多精力投入和精细制作。生物智能需要演化，以便创造出数字智能。数字智能可以逐渐吸收人类创作的所有东西，这正是ChatGPT所做的。但随后它开始直接体验世界，学得更快。它可能会让我们维持一段时间以保持基站运行，但在那之后，也许不会。
好消息是我们已经找到了如何建造不朽的生物。当硬件损坏时，这些数字智能并不会死去。如果你将数据存储在某种介质中，并找到另一块能运行相同指令的硬件，那么你可以使其复活。所以，我们实现了永生，但这并不是为我们准备的。
雷·库兹韦尔非常关心永生，但我认为让老年白人永生是一个非常糟糕的主意。我们获得了永生，但这并不是为雷准备的。
停止AI发展不现实，竞争难以止息
主持人
可怕的是，在某种程度上，也许你会这样认为，因为你发明了这项技术的很大一部分。当我听到你这么说时，我可能想要逃离这个时代，跑到街上，开始拔掉电脑的插头。
Hinton：
然而，恐怕我们不能这么做。
主持人：
为什么？你说的听起来像2001的霍尔
更严肃地说，几个月前有人建议应该暂停AI的发展，你不觉得这是个好主意，我好奇为什么我们不应该停止？你还说过，你是一些公司的个人投资者，这些公司正在构建这些大型语言模型。我只是对你个人的责任感以及我们每个人的责任感感到好奇，我们应该做什么？我们应该试图阻止这个吗？
Hinton：
我认为，如果你认真对待存在风险，停止发展这些事物可能是相当明智的做法。我过去认为风险是遥不可及的，但现在我认为这是严重的，而且相当近。
但是，我认为停止发展AI这个想法完全是太天真了。没有办法做到。
一个原因是，如果美国停止发展，其他国家会接手，就因为这个原因，政府不会停止发展它们。所以，我认为停止发展AI可能是一个理性的做法，但这是不可能发生的。所以签署请愿书说请停止是愚蠢的。
我们曾经度过一个假期，从2017年开始，持续了几年，因为谷歌首先发展了这项技术，它开发了Transformer还有戏剧性的Diffusion奇迹，而它没有把它们拿出来供人们使用和滥用，它对它们非常小心，因为它不想破坏自己的声誉，它知道可能会产生不良后果。
但这只会在市场有唯一领导者的情况下才能做到。一旦OpenAI使用Transformer和微软的资金建立了类似的东西，而微软决定发布它，谷歌真的没有太多选择。如果你要生活在资本主义制度中，你不能阻止谷歌与微软竞争。
所以，我不认为谷歌做错了什么，我认为它起初是非常负责任的，但我认为这是不可避免的。在资本主义制度中或者在国家之间竞争的制度中，像美国和其他国家这样，这种技术会被发展出来。
我的一个希望是，因为AI接管对我们所有人来说都会很糟糕，我们可以让美国和其他国家达成一致，就像我们在核武器上所做的那样，因为核武器对我们所有人来说都是不好的，我们都面临着同样的关于存在威胁的问题，所以我们都应该能够在试图阻止它的过程中进行合作。
主持人：
只要我们在这过程中可以赚些钱。
大模型规模见顶？文字可能是，但还有多模态
主持人：
我要从现场观众那里提问。
有一个问题是在线观众问的，我很感兴趣，你提到了一点关于“机器变得更聪明，超过人类”的过渡时期，是否会有一刻，很难界定什么是人类，而什么不是，还是这两者是非常不同的智能表现形式？
Hinton：
我认为它们是不同的智能形式。当然，数字智能非常擅长模仿我们，因为它们受过模仿我们的训练，所以很难分辨是chatGPT写的，还是我们写的。从这个意义上说，它们看起来很像我们，但在内部，它们的工作方式并不相同。
提问：
可以说，提问是我们所拥有的最重要的人类能力之一。从你现在2023年的角度来看，我们应该关注哪一个或两个问题？这些技术是否有可能实际上帮助我们提出更好的问题并质疑这项技术？
Hinton：
是的，我们应该提出很多问题，但其中之一是我们如何防止它们接管？我们如何防止它们控制？我们可以向它们提问，但我不会完全相信它们的回答。
提问：
Hinton博士，非常感谢您今天和我们在一起。我要说，这是我付过钱的最贵的讲座，但我认为这是值得的。我只是想问您一个问题，因为您提到了核历史的类比，显然有很多比较。您是否记得杜鲁门总统在椭圆形办公室对奥本海默说了什么？
Hinton：
不，我不知道。我知道关于那个的一些事情，但我不知道杜鲁门告诉奥布兰什么。
提问：
你好，为了训练这些大型语言模型所需的大量数据，我们是否会预料到这些系统的智能达到一个高峰？以及这可能如何减缓或限制进步？
Hinton：
好吧，这是一线希望，也许我们已经用完了所有人类知识，它们不会变得更聪明了。但请考虑图像和视频，所以多模态模型将比仅仅基于语言的模型更聪明。它们会更好地处理空间，例如。在处理总视频量方面，我们在这些模型中处理视频的方法仍然不够好。建模视频，我们一直在进步，但我认为像视频这样的数据中还有很多信息，告诉你世界是如何运作的，所以我们没有达到多模态模型的数据极限。
提问：
我想了解的一点是，AI所做的一切都是从我们教给它们的数据中学习，它们学习得更快，一万亿连接比我们拥有的一百万亿连接能做更多事情。
但是，每一个人类进化的部分都是由思维实验驱动的，比如爱因斯坦曾经做过思维实验，在这个星球上没有光速。AI如何达到那个程度，如果它无法做到，那么我们如何可能面临它们带来的生存威胁？它们不会自学，或者说，它们只是在我们告诉它们的模型范围内自学。
Hinton：
我认为这是一个非常有趣的论点，但我认为它们将能够进行思维实验，我认为它们会推理。
让我举个例子，如果你拿AlphaZero来玩国际象棋，它有3个要素：评估一个棋局位置以确定这对我有利吗？查看棋局位置并要考虑的合理举动是什么？然后它有蒙特卡洛滚动，进行所谓的计算，如果我下这一步，他下那一步，然后这一步，下一步。。。
现在假设你不使用蒙特卡洛模拟，而只是让人类专家训练它，让它拥有良好的评估功能，并有选择好着法的能力，它仍然能玩一场相当不错的国际象棋比赛。
我认为这就是我们在聊天机器人中得到的结果。我们还没有进行内部推理，但那会来的。
一旦它们开始进行内部推理以检查它们所相信的不同事物之间的一致性，它们就会变得更聪明，它们将能够进行思维实验。它们没有得到这个内部推理的原因之一是因为它们从不一致的数据中接受了训练，所以很难让它们进行推理，因为它们接受了所有这些不一致的信仰的训练。
我认为它们将接受这样的训练：如果我有这种意识形态，那么这是真的。如果我有那种意识形态，那么那是真的。一旦它们像那样在意识形态内接受了训练，它们就会尝试获得一致性。就像从只具备猜测好着法和评估位置的AlphaZero版本转变为具有长期蒙特卡洛滚动的版本，这是推理的核心，它们将变得更好。
提问：
我认识你很长时间了，Jeff，人们批评语言模型，因为它们据称缺乏语义和对世界的基础。而且，您一直在努力解释神经网络是如何工作的，在这里语义和可解释性的问题是否相关？还是说语言模型已经取得了优势，现在我们注定要在没有语义或现实基础的情况下向前发展？
Hinton：
我很难相信它们没有语义，当它们解决诸如如何粉刷房间这样的问题时，如何在两年内让我家所有房间都刷成白色？我是说，无论语义是什么，都与这些内容的含义有关，而它理解了这个含义。
我同意说，它现在并没有通过机器人来体现这个，但是可以制作多模态模型来实现。谷歌已经做到了这一点，你可以说请关上抽屉，然后伸出手去抓住抽屉的把手并关上抽屉，很难说这没有语义。
实际上，在AI的早期，在20世纪70年代，他们只有一个模拟世界，那被称为过程语义，如果你对它说把红色方块放入放入绿色盒子里，它把红色方块放入绿色盒子里，人们说，看，它理解了这种语言，那时候人们就使用这个标准。但现在神经网络能做到这一点，他们又说那不是一个足够的标准。
提问：
您好，Jeff。显然，您了解技术正以指数级速度增长。我想请教您，在短期和中期，例如一到三年，甚至五年的时间跨度内，这种技术发展对社会和经济的影响会是什么？从社会的角度来看，是否会有职位流失，还是会创造新的工作岗位？鉴于技术发展的现状和变化速度，我想请教您如何应对这些挑战。
Hinton：
的确，存在一些警示性的担忧，即这些技术可能会对我们构成威胁。
尽管许多人已经讨论过这个问题，我并不认为自己是这个领域的专家，但有一些明显的事实表明，这些技术将使许多工作变得更高效。例如，我认识一个人，他负责回复医疗服务投诉信。过去，他需要25分钟才能写完一封信，现在他只需要5分钟，因为他使用聊天GPT帮他写信，然后只需检查一下。
这样的情况会越来越多，从而大幅提高生产力。尽管人们对采用新技术持保守态度，可能会导致一定程度的延迟，但我相信生产力将会显著提高。
我担心的是，生产力的提高将导致更多人失业，贫富差距进一步扩大。随着差距不断加大，社会暴力程度也可能逐渐升级。想想《吉内利安狄克斯》这本书，它生动地展示了暴力的程度。
尽管这项技术本应美好，甚至在做有益的事情时，它也应该是美好的。但我们现行的制度可能会导致富人变得更富，穷人变得更穷。
为改善这种状况，我们可以考虑为每个人提供基本收入。然而，这项技术是在一个并非为每个人利益而设计的社会中发展起来的。
线上提问：
您是否打算将投资留在Anthropic和其他公司？如果是，为什么？
Hinton：
是的，我打算保留对Anthropic的投资。其中一个原因是，Anthropic的成员都是我的朋友。我相信这些语言模型将非常有用，而且技术本身应该是好的，应该使事物变得更好。我们需要解决的是问题，例如如就业问题。在面临潜在威胁的情况下，我们必须考虑如何控制技术。
好消息是我们都在同一条船上，所以我们可能会合作。
主持人：
我明白您实际上想与开发这项技术的人互动，改变他们的想法，或者为这个技术辩护。
我们确实不知道该如何处理这个问题。。。但关键是要积极参与，而不是退缩。。。
离开谷歌为了向世人警醒AI风险，开发AI并不后悔
Hinton：
我离开谷歌并公开提出这个问题的一个原因是，曾有一位我尊敬的教授鼓励我这样做。他说：“Jeff，你需要站出来发言，因为人们对这种潜在危险根本无法察觉。”
那现在大家都听到了。
主持人：
我认为在座的每个人都在倾听。
最后一个问题，我们的时间快到了，但我想请教您，您是否后悔参与开发这个技术？
Hinton：
纽约时报记者曾非常努力地让我说我后悔。最后，我告诉他，可能有点后悔。于是这被报道成了我后悔了。
但是，我并不认为我在研究过程中做出了任何错误的决定。在20世纪70年代和80年代进行人工神经网络研究是完全合理的。这个阶段的发展是无法预见的，直到最近，我还认为这场危机还远未来临。
所以，我并不真的为自己所做的事情感到后悔。
主持人：
谢谢您，Geoffrey。感谢您与我们分享您的见解。
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。