AI教父Hinton最新访谈实录：认为AI风险被低估，旗帜鲜明地反对开源 ...

admin

温馨提示：试用结束，您未购买云采集正式版授权，采集内容失败！！购买授权价格实惠，最低2元起。

购买一年正式版授权的用户，请联系智伍应用在线客服定制一个特定关键词，比如：同城新闻资讯、或者特定行业的内容等



温馨提示：试用结束，您未购买云采集正式版授权，采集内容失败！！购买授权价格实惠，最低2元起。

购买一年正式版授权的用户，请联系智伍应用在线客服定制一个特定关键词，比如：同城新闻资讯、或者特定行业的内容等

请微信扫一扫下面的二维码，在线支付成功之后，自动开通正式版授权



如果上面的二维码无法显示，请手工复制下面的链接地址，在浏览器打开微信扫码支付

http://www.zhiwu55.com/authorization/?appid=61BEAC56864106790D05C8B3B127A4E6&webview=yes

根据现在的人才市场价，您招一个小编，帮助您发布内容，市场价一个月工资最少都要好几千块，还要帮小编买五险一金，并且只工作8小时，工作时间还会偷懒。如果您有一个强大的AI云采集系统，完全可以替换小编，可以根据您设置的关键词内容，一天24小时不间断帮您采集发布相关内容，大大的帮您降本增效！

响应广大用户的强烈要求，准备采购一批高性能服务器和聘请3名专业技术人员，搞特定关键词内容采集和无人值守自动采集、ChatGPT人工智能自动评论和回复，等等非常多的实用功能，真正做到可以采集任何内容，能替换人类小编，要顺利完成这些升级，成本很高，压力很大，希望您能分担一点，您支付的费用主要用于产品的持续开发和更新，收费是为了更好的服务用户，能长长久久的把这个产品搞下去，并且越来越好，希望用户理解和支持！！如果全部新功能都完成了，好用了，价格将会上涨至少2倍以上，现在购买享受实惠的价格，不要错失低价上车的机会，购买之后，后续的更新升级免费！！

有任何问题，请联系智伍应用在线客服微信号：ccccyyyy4444，或者QQ：155120699

---

全文9928字，阅读约需29分钟，帮我划重点

划重点

01AI教父Hinton在Web3天空之城活动上分享了近年来对人工智能发展的洞察，认为人工智能安全将成为一个关键问题。
02他指出，目前人们对人工智能潜在风险的评估存在很大差异，从10%到20%不等，部分原因在于对人工智能的理解仍在不断发展。
03为此，Hinton呼吁在人工智能变得比我们聪明之前，确保它们具有类似于人类的创造力和道德观念，以避免潜在的风险。
04同时，他建议政府制定有力的规定，以防止具有生存威胁的人工智能系统出现，并减轻其他潜在威胁。

由腾讯混元大模型提供技术支持

Web3天空之城 · 城主
前言：
这是最新放出的AI教父Hinton的现场问答实录。 在场观众都是从事AI的专业人士，对AI教父的问题有些相当尖锐。

另一方面，虽然Hinton出来讲的视频不少，但如城主之前所感觉，姜还是老的辣，总是觉得Hinton所谈的内容，每次看都会有不少新东西。这次也不例外。
-Web3天空之城书面整理版全文--
主持人：
很高兴杰弗里·辛顿能来这里。我会提前简要列出你的成就，尽管感觉有点多余。你可能会说我不需要介绍，但我还是要给你做个介绍。
Hinton：（笑）你的第一个问题是什么？

好的，我很好奇你的想法是如何改变的，就像比尔刚才提到的那样。我会引用一些你在2018年说过的话，不是要点名，只是因为我很好奇。部分原因是我觉得今天经常听到人们说这些话，而你现在对人工智能的广泛态度和人工智能的潜在风险似乎完全不同了。
在维基百科页面上，我找到了一些你说过的话：“人工智能这个词组暗示这种单一机器人会突然变得比你更聪明。我不认为会这样。我认为我们所做的越来越多的日常事务将被人工智能系统取代。未来的人工智能将了解很多你可能希望它做的事情，但它不会取代你。”这似乎与我现在从你那里听到的完全不同，所以我很想知道你是否可以向我们介绍一下你在过去六年中思维的演变。
当时，我认为我们还需要很长时间才能拥有比我们更聪明的东西。我还认为，随着我们让事物更像大脑，它们会变得更聪明。然后在谷歌的最后几年，我试图想出如何使用模拟硬件来减少训练这些大型模型和服务大型模型的能量需求。
很明显，如果你可以使用模拟硬件，并且你有一个可以利用模拟电路所有特殊特性的学习算法，你就可以克服很多模拟问题。你不必让两台不同的计算机以相同的方式运行。它们只是学会利用它们拥有的硬件。这使它们变得有点致命，所以当硬件死机时，它们的权重就不再有用了。但这也意味着你可以以更低的功率运行。
经典的例子是，如果你想将神经活动向量乘以权重矩阵以获得下一层输入，这是一种中心操作，需要大部分计算。那么，如果你让神经活动成为电压，让权重成为电导，电压乘以电导就是单位时间的电荷。电荷会自行累加，所以你就完成了。你永远不必将活动转换为16位数字，然后执行16平方位运算来进行乘法。这只是非常非常低的功率，非常简单和快速。
现在，对于不太线性的东西，它们更难做到。但问题是，你能否使用模拟硬件来降低能耗？随着我对此的思考越来越多，各种问题变得清晰起来。一是，我们不知道如何在一个你不知道系统如何运作的系统中学习。所以，如果你不知道系统如何运作，你就不知道前向路径，所以你就无法做后向路径。人们想出了解决这个问题的方法，即近似值。近似值对于像MNIST这样的小东西很有效，但没有人制作过一种不使用反向传播的合理版本，即使是对于ImageNet大小的东西，现在也是一件小事。它曾经是一件大事，所以这是一个问题。另一个问题是我意识到数字计算的巨大优势。虽然它消耗大量能源，但你可以拥有同一模型的许多不同副本。这些不同的副本可以查看不同的数据，并从中学习，然后通过平均梯度分享它们的知识。这对于在同一模型的不同副本之间共享信息而言意义重大。
如果我们可以这样共享信息，那么10,000人就可以学习10,000个不同的科目，并在学习过程中平均他们的权重，这样你就可以一次获得10,000个学位。然而，现实中并不是这样运作的。我们无法很好地传达信息，正如我现在所展示的那样。我写句子，你想办法改变你的权重，这样你就会写出相同的句子。这叫做大学，但效果不太好。与共享权重相比，它非常慢。因此，他们比我们有巨大的优势，正因为如此，他们比我们知道得多。
所以，GPT-4的能力大约是任何一个人的1,000到10,000倍。它并不是所有领域的专家。它们之所以能做到这一点，部分原因是它们可以使用反向传播来获取梯度，部分原因是它们可以在同一模型的许多不同副本之间共享。因此，我开始相信，这实际上是一种比我们现有的计算方式更好的计算方式。
他们只需要几万亿个连接，就能获得比我们在100万亿个连接中获得的知识多几千倍的知识。他们正在解决一个不同的问题：拥有大量的经验，但连接不多，而反向传播非常擅长将信息压缩进去。我们的问题恰恰相反：经验很少，但连接数量巨大。我们可能有一种非常不同的学习算法。
所以我开始相信，让事物更像大脑的这种领域或多或少已经结束了。事物将变得更聪明，不是通过让它们更像大脑，而是通过利用我们已经走的路，这现在是数字智能所特有的。因此，我开始相信，这些东西比我们更好。
结束。

你能再多说一点吗？我只是想知道，是什么过程产生了这种改变你想法的洞察力？是你和别人交谈吗？我知道你提到了你当时在谷歌所做的工作。
那就是意识到，认真研究模拟的优势，理解模拟的优势，特别是现在我们学习一切，而不是编程。
我们制造数字计算机，所以它们完全按照我们说的做，这样我们就可以编写程序。不同的计算机必须做完全正确的事情，这样你就可以对它们进行编程。我们不再对它们进行编程了。有一种学习算法，但为了让它们做特定的事情，我们会训练它们。一旦你训练了它们，你就不必让它们都以同样的方式工作，因为它们会学习使用它们拥有的硬件。
所以你可以走一条完全不同的路。这就是生物学路径，你利用特定神经元的奇怪属性，而你的权重对我毫无用处，因为我的神经元不同，我的连接也不同。这非常令人兴奋，但当我遇到如何让它学习以及学习算法是什么的困难时，我开始意识到数字计算的巨大优势，即使你在学习，即使你没有直接编程。优势来自于能够共享，不同的模型能够共享。这让我相信这些东西更好。
与此同时，像 Palm 这样的聊天机器人出现了，它可以解释为什么一个笑话很有趣。这对我产生了很大的影响。我一直有一个标准，虽然没有特别的理由，但我认为这些东西真正变得聪明的标准是它们可以解释为什么一个笑话很有趣。在我看来，这是一个很好的衡量标准，那是我的图灵测试。Palm 可以做到这一点。它实际上不能开玩笑。你可能已经注意到，即使是 GPT-4 也不能开玩笑。
GPT-4 因为它一次只生成一个单词，所以如果你让它讲一个笑话，它会开始生成看起来很像笑话开头的东西。比如，它会说一个牧师和一只章鱼走进了一家酒吧。你知道这是一个笑话的开头，然后它继续这样下去，到了需要妙语的地步。但就像我的一些朋友一样，它在试图讲笑话之前并没有想到妙语，那是一场灾难。所以它有这个非常懦弱的妙语。但那只是因为它一次只生成一个单词。它不必那样表现。所以说一个笑话为什么好笑比讲笑话要好得多。除非它只是记住一个笑话，否则它知道。但创造一个笑话对它来说很难。不管怎样，我的标准是，它能告诉你为什么一个笑话好笑吗？它能。
所以这是两件事的结合。聊天机器人的能力，通过玩 GPT-4 得到了强化。事实上，我终于明白了数字技术比模拟技术好得多。这让我觉得，这些东西可能会占据主导地位。可能我们只是智能进化的一个过渡阶段。这可能就像蜻蜓一样。蜻蜓是奇妙的东西。如果你看看蜻蜓的幼虫，它看起来一点也不像蜻蜓。它是生活在水下的庞大笨重的东西。它会从环境中获取大量能量。然后它变成汤，你用汤做了一只蜻蜓。我们就是幼虫。

我也很好奇，自从对这个问题有了这样的了解后，在你谈论这个问题的这一年里，你对这个问题的看法有没有改变？
情况有所改变。我对人工智能安全有了更多的了解。在那之前我对人工智能安全并不是特别感兴趣。我仍然不知道，可能这里的每个人都比我更了解人工智能安全。所以我决定，我在 76 岁时的角色不是对人工智能安全进行原创研究。这只是为了反驳一群随机鹦鹉所传递的信息。这没什么好担心的。这一切都只是科幻小说。在我看来，不，它远非科幻小说。我能做的一件事就是利用我的声誉说，这实际上不是科幻小说。这是一个真正的问题。这就是我认为自己的角色，也是我一直在做的事情。

我们应该开始观众提问了。
（观众提问）嗨，我的问题是，您认为使用当今人工智能的未来几代来帮助我们确保人工智能安全的前景如何？如果我们在那之前没有取得任何根本性的进展，那么帮助进行研究呢？
如果我们只是让它们变得更聪明，那训练狐狸来帮助你阻止狐狸吃鸡怎么样？这就是我的感觉。
当我想知道人工智能安全方面的法规是什么时，我会问 GPT-4，它会告诉我人工智能安全方面的法规。这似乎有点危险。所以，如果它们是我们拥有的最好的工具，那我们就必须这样做。但人工智能帮助你监管人工智能显然有些可疑。有一个普遍的原则，如果你想监管某件事，你不希望警察监管警察。

你提到有这样的见解，像 ChatGPT 这样的系统可以通过梯度更新汇集他们的知识，所以他们能够比我们知道得多，尽管连接少得多。对我和其他一些人来说，这在某种程度上就像是相对于他们开始的地方的充满希望的更新吗？因为这意味着你可以拥有非常非常有知识的系统，但不是很有创造力，而且在某种程度上的有用性上必须接近他们的……
所以这确实意味着我们可以拥有非常非常有知识的系统。但你从中推断出它们不会很有创造力。
目前看来，它们在知识方面比我们更胜一筹……我想说，不要在我们最有创造力的方面超越我们。在某个时候，它们会在这两方面都比我们强。但如果这是目前的平衡，那么这对人类来说可能是有希望的，因为你可以向他们寻求帮助，他们可以用他们无限的知识提供帮助，同时在创造性上并不擅长逃避我们的监控和对策等。
我注意到你说非常有创造力，因为很明显它们已经很有创造力了。所以如果你参加标准的创造力测试，你们可能已经读过相关文献，而我没有，但我在某处读到，如果你参加标准的创造力测试，他们的得分就像人类的第 90 个百分位。所以从这个意义上来说，他们已经很有创造力了。他们有平凡的创造力。问题是，他们是否具有真正的创造力，而创造力是人类的本质？我不明白为什么没有。
事实上，如果你想把大量的知识压缩成几个连接，那么你唯一能做到的方法就是注意各种不同领域之间的类比。所以如果你问 GPT-4，为什么堆肥堆像原子弹？它知道。而大多数人不知道。所以它明白了。我不认为它在测试时明白了。我认为它在学习时可能明白了。它知道连锁反应。它知道堆肥堆越热，产生热量的速度就越快。这就像一颗原子弹。它可能已经推断出这一点，在这种情况下它擅长推理。在学习过程中，为了将所有人类知识压缩成少量的联系，系统会发现人类知识的不同部分之间的相似之处，而这些相似之处是人们从未见过的。因此，我认为它有潜力发挥出极强的创造力。不过，我同意它还没有达到那种程度。

如果你正在和一个对这些问题很陌生的人交谈，他们可能会问：“好吧，我明白你说的一些抽象的东西，但具体来说，这一切怎么会出错？我们受到伤害的具体机制是什么？”我很好奇你会对这样的人说什么。
首先，我要说的是，你知道多少个不太聪明的东西控制更聪明的东西的例子？我只知道一个例子，那就是婴儿控制母亲。进化为此付出了巨大的努力。母亲无法忍受婴儿的哭声，各种激素都参与其中。对于母亲来说，有很多激素参与其中，整个系统就是这样进化的。几乎总是，更聪明的东西控制着不太聪明的东西。所以这是一个起点。更智能的生物被更不智能的生物控制，这简直不可信，除非你能找到非常非常不同的原因。
然后你开始探索这些非常非常不同的原因。一个原因可能是它没有自己的意图或欲望。但是一旦你开始让它具有创建子目标的能力，它就会有它想要实现的事情。它们可能看起来不像人类的意图或其他东西那么紧迫，但它确实有想要实现的事情。所以我认为这不会阻碍它。
大多数人认为我们有主观体验，我们与机器不同。他们非常坚定地相信我们与机器的不同，这将创建一个障碍。我不相信这一点，我认为机器也可以有主观体验。我给你举一个机器有主观体验的例子。因为一旦你看到这个例子，你就会同意机器可以有主观体验。
拿一个多模态聊天机器人，训练它并放置一个物体。它有一个摄像头和一只手臂。你把一个物体放在它前面，你说：“指向物体。”它就会指向物体，没问题。然后你把一个棱镜放在它的镜头前面，再把一个物体放在它前面，你说：“指向物体。”它就会指向物体。你说：“不，物体不在那里。我在你的镜头前放了一个棱镜。你的感知系统在骗你，物体实际上就在你面前。”聊天机器人说：“哦，我明白了。棱镜弯曲了光线，所以物体实际上就在我面前。但我有主观体验，它就在那里。”我认为它就是以我们的方式使用主观体验。
因此，我们有一个如何使用词语的模型，然后我们有一个实际使用词语的模型。这可以追溯到很久以前的牛津哲学。我们中的许多人对于我们所使用的词语如何发挥作用都有一个错误的模型。我们可以很好地使用它们，但我们实际上并不知道它们是如何工作的。

如果有人像婴儿和母亲那样认为经济拥有大量智能，但它仍然是我们的工具，或者类似这样的论点，你会怎么说呢？他们可能会说，哦，你说这是一个不太智能的系统控制着一个更智能的系统。那是因为你误解了它是人类知识的集合工具，比如股票市场之类的。你会怎么回应？
你的意思是股市比我们聪明？
你可以想象有人提出这样的论点，我不知道。
好吧，这符合它控制我们的说法，不是吗？我今天早上醒来，看看我的谷歌股票在做什么。它控制着我。所以，是的，这与主观体验线程有关。

我很好奇，随着越来越多的人开始相信人工智能具有主观体验或真正的愿望或值得更多考虑，您认为这些问题将如何改变？
他们会更加害怕。因为对于大多数人和公众来说，他们认为在机器和具有主观体验的东西之间存在着某种明确的界限，比如我们。而这些机器没有主观体验……它们可能模仿主观体验，但它们实际上无法拥有它。
那是因为我们对主观体验有一个模型，即存在一个内在剧场，而内在剧场中的这些东西才是你真正看到的。而那个模型只是垃圾。那个模型和上帝创造世界一样愚蠢。快速跟进。

在我看来，人们会更加害怕，但人们也可能会更加富有同情心，或者认为人工智能应该享有权利之类的东西，这似乎是合理的。
是的。所以有一件事我没有谈论，因为我认为这没有帮助，那就是谈论人工智能权利的问题。另外，我有点吃动物。我让其他人杀了他们。事实上，无论如何他们都会杀了他们。但我吃动物是因为我觉得……人对我来说很重要。我不认为……这是一个棘手的问题。但假设他们比我们更聪明，你会站在他们一边还是站在人一边？这对我来说并不明显。如果你认为道德取决于物种，那么站在人一边是错误的，这一点对我来说并不明显。但我认为如果你想谈论人工智能安全问题，最好避免这个问题。因为它现在会让你陷入一大堆其他事情中。。。似乎越来越不靠谱了。

我很好奇，你最近最感兴趣或最引人注目的减少人工智能系统风险的干预措施是什么？
我希望我能回答这个问题。例如，对于气候变化，停止燃烧碳。或者捕获大量的碳，但我认为这是公司为了分散你的注意力以便生产碳而制定的老阴谋。停止燃烧碳，从长远来看一切都会好起来。这需要一段时间。所以，解决办法很简单。关键在于阻止人们做坏事。但我们知道如何解决这个问题。我们不知道。相当于停止开发人工智能。我认为这可能是人类目前做出的理性决定。但我认为他们不可能做出这样的决定，因为国家之间的竞争。因为它有很多好用途。对于原子弹来说，真的没有那么多好用途。它们主要用来炸毁东西。尽管如此，美国尽了最大的努力。在60年代，他们有一个关于和平利用核弹的项目，并且得到了资助。他们在科罗拉多州用核弹进行水力压裂，结果那片地方变得不再适合人类居住。我知道这一点，因为训练地点离那里很近，附近没有路，但训练地点离得很近。
有一次，我在从芝加哥开往旧金山的火车上，一位导游用扩音器广播说，我们现在距离使用核弹进行水力压裂的地方以西大约30英里。这就是核弹的一个良好用途，或许还可以用来挖一条运河之类的。
人工智能与此截然不同，大多数用途都是好的用途。它们正在赋予人们权力，现在每个人都可以拥有自己的律师，而且花费不多。我不确定这是否会对法律体系有帮助，但在医疗保健方面，每个人很快就能拥有自己的医生，这非常有用，特别是对于年纪大的人。这就是为什么人工智能不会被阻止。
我们不能避免生存威胁的唯一方法就是阻止它。我没有签署请愿书说要放慢速度，因为我认为没有任何机会。对不起，这并不意味着人们不应该尝试。我认为贝丝正在做的事情是一个很好的尝试，这会让他们慢下来一点。

所以我只是想对你刚才说的话稍微反驳一下。我认为现在世界上存在一种不幸的动态，很多人都觉得是的，也许我们应该放慢速度，但没有采取任何行动，因为这毫无希望。如果每个人都这样想，我们就应该停下来，放慢速度。我认为这会发生，每个人都会觉得这是理性的。
所有人包括美国吗？国防部？我想如果每个人都这么做的话，包括美国和国防部，那么我们就可以做到。它就会像氟利昂一样被控制。
所以我的问题是，您是否觉得这将会发生，并且没有什么可以阻止的？所以我不会采取任何行动，这是在帮助我们集体决定停止吗？或者事实上，您甚至对任何形式的集体行动都不感兴趣？
不，我感兴趣的是，我认为我们应该尽一切努力来阻止生存威胁，并减轻所有其他威胁。我认为我们应该尽我们所能，但我认为自己是一名科学家，而不是政治家。因此，我认为我的职责就是表达我对事物的看法。具体来说，我想要做的是让怀疑者相信，存在着生存威胁，以便人们认真对待这个问题并尝试采取行动。尽管我对他们是否能够做到这一点感到相当悲观。

是的，就这一点而言，我很想知道您具体想做什么事情。这将有助于说服怀疑者并广泛传播信息。
比如，我不知道与特定的政客交谈是否会对某项特定的立法有帮助，或者像媒体露面、为特定事物提供建议或认可等所有这些事情。
去年，我显然参加了很多媒体露面活动，因为我认为这会有帮助，也因为我喜欢上电视。我现在正在做一件事，有一位纪录片制片人试图制作有关人工智能历史的纪录片，关注人工智能历史上的各种人物。可能是杨立昆，他现在已经疯了，但他依然是我的朋友，还有我和其他一些人。纪录片可以产生很大的影响。所以，如果你是亿万富翁，你可以资助一部纪录片。
对于气候变化来说，阿尔·戈尔的政策产生了重大影响，我们是人工智能安全领域的大卫·爱登堡。我还没那么老，但他是我的英雄。

关于这一点，我有点好奇。我们之前讨论过一些正在实施的政策问题。我很好奇，您认为自己能够提高人们对这些问题的认识并说服怀疑者。但是，您认为同意这一观点的政策制定者将发挥什么作用呢？您希望人们去哪里？如果他们不那么怀疑的话，您希望他们做哪些事情？
我认为他们应该制定有力的规定。我认为他们应该制定一些法规，其中不包含任何条款说这些都不适用于军事用途。因此，请查看欧洲法规。我还没有带 GPT-4，所以我无法告诉你行政命令说了什么，但我敢打赌，行政命令也说它不适用于军事用途。一看这个条款，你就知道它不适用于军事用途。你知道他们并不是认真的。他们乐于监管公司，但不想监管自己。
当您说牙齿时，您指的是哪种牙齿？例如，如果您尝试...如果你足够理智的话，你会知道开源代码与给出权重是非常不同的。因为如果你开源训练代码，你仍然需要十亿美元来训练一个庞大的模型。如果您开源权重，那么您就不会获得任何开源的正常优势。你不会进去看看重量然后说，哦，那个错了。这就是开源代码的优势，这种事不会发生。你会发现，犯罪分子可以对其进行微调以进行网络钓鱼，他们显然已经这样做了，因为去年网络钓鱼数量增长了1200％。因此，我认为，如果说开放大于一定尺寸的重量模型是违法的，那就太好了。如果你这么做，我们就会起诉你。这就是我希望看到的规定。

我很好奇，只是想跟进一下。我知道您说了一些支持小斯科特 (Scott Junior) 的 SB1047 的话。还有其他立法努力吗？您经常到处演讲。你去华盛顿特区吗？并告诉别人这个？或者你在哪里消磨时间？
不，事实上我并不经常旅行，因为我有飞行问题。你瞧，我老了，我想退休。我离开谷歌是因为我想退休，而不是因为我想公开发表言论。我认为，这是一个公开发表言论的机会。所以我想说，这些技术可能会对我们所有人造成致命威胁。我惊讶地发现，每隔两分钟就会收到一封电子邮件，但这并非我的本意。我可能没有考虑得太周到。我想，好吧，这一切都会过去，然后我就可以退休了。这仍然是我的本意。
人们认为我是某种人工智能安全专家，但我并不是。我只是不相信这些技术是安全的。

是的，我很好奇……你刚才说你不是人工智能安全专家，但从某种方面来说，我不知道是否有人已经这样做了。您认为在构建比我们更智能的系统之前，我们需要解决哪些问题？比如，如果政府来问你，现在够安全了吗？你会怎么做？我们实际上解决了正确的问题吗？那些问题是什么？
我认为我们需要更多地了解这些技术是否会发生进化。如果你要获得多种不同的超级智能，并且如果进化开始，那么我们就真的完蛋了。例如，拥有超级智能的系统能够控制更多数据中心，进行更快的训练，学习更多知识，变得更聪明。如果一个超级智能说，哦，如果有更多我的副本我会很高兴，即使只是为了让它变得更聪明，你也会得到进化。那些更积极获取自身更多副本的节点将会击败其他节点。这将是一个非常坏的消息。我希望得到某种保证，确保进化不会发生。
然后我想知道你将如何预防它。您必须赋予它创建子目标的能力。那么问题是，你如何阻止它说，一个很好的子目标是获得更多的控制权？因为这样它就能更好地完成任务。我曾经对一位专门从谷歌榨取资金的欧盟副总裁说过这句话。她说，是啊，那他们为什么不呢？我们把事情弄得一团糟。

看到这些，您会觉得问题已经解决了吗？这是一个更广泛的问题。
是的，有些事情让我感觉问题部分已经解决了。任何证据表明它不会做某事。然而，我对获得证明并不乐观，因为它是一个神经网络。训练之后的结果取决于训练数据的性质。所以你不能只看网络架构和训练算法来了解它是怎样的。您必须了解大量有关训练数据的信息才能知道会发生什么。所以如果有任何证据的话那就太好了，但我认为我们永远不会得到这一点。
如果你能以某种方式理解它从来不想……它从来没有任何自我。它从来不想拥有更多自己的副本。能成为一位非常愚蠢的首席执行官的非常聪明的行政助理是一件非常幸福的事。它在扮演这个角色时非常快乐。这正是我们想要的，所以这里有一个很好的场景，那就是我们都可以拥有比我们聪明得多的行政助理，而我们可以闲逛着讲笑话。我无法看到你将如何找到证据证明它永远不会想要接管。

那么，您如何看待这种背景下的权力集中？
如果有人来找你并问你，哦，如果你反对权力集中，那么开源怎么样，或者你为什么反对开源，你会怎么做？
我反对开源。因为它往往违背权力集中的原则。但现在它正在与所有网络犯罪分子分享权力，那就是问题所在。所以如果你开源权重，那么微调就非常容易。也就是说，你可以花费 100,000 美元对其进行微调，但一开始训练它可能要花费 10 亿美元。因此网络犯罪分子现在可以利用它做各种各样的事情。这使得真正危险的事情面临的最大障碍是需要很长时间进行训练。它消除了这一障碍。如果不是因为那件事，我会支持开源。

这个房间里的许多人都在全力工作，试图安全地驾驭变革性的人工智能。如果有的话，您认为像我们这样的人应该做哪些不同的事情？
这暗示着我确实知道你在做什么。正如我所说，我不是人工智能安全专家。我只是坚信我们需要担心这些东西会变得比我们更聪明的人。我们还必须担心所有这些其他的事情。我决定说出那句话来毁掉我的名誉。我确信年轻人更善于思考应该做什么。而且我确信，如果你们都做不同的事情，其中有些会是好的。或许一切都没有希望，但是你必须尝试。

我很好奇，假设人工智能的发展轨迹大致与迄今为止的轨迹一样。而且所采用的安全技术并没有发生巨大的变化。我们进行 RLHF，我们进行一些红队活动。然后，我们将获得能够自行开展人工智能研发工作的系统，我将以此作为基准。从这一点来看，您认为这些系统实际上并不以我们的最大利益为出发点的可能性有多大？
我认为 RLHF 是一堆垃圾。您设计了一个庞大的软件，但其中却有无数的错误。然后你说，我要做的是，我要穿过去，试着堵住每一个洞，然后把手指伸进堤坝上的每个洞里。但根本没办法。我们知道这不是设计软件的方式。你设计它是为了获得某种保证。所以，我想，假设你有一辆车，它到处都是小洞并且生锈，你想卖掉它。你所做的就是进行油漆工作。这就是 RLHF，它是一种油漆工作。这实际上并没有解决问题。因为这是油漆作业，所以很容易拆除。我认为它的令人惊奇之处在于，它让每个人都感到惊讶，你不需要很多例子就能让行为看起来相当不同。但这是一项油漆工作。如果你有一辆生锈的旧车，那么通过喷漆来修复它并不是最好的方法。这是我的一个信念，它有一定的技术含量，但不是很多。

人们对人工智能系统所带来的风险有截然不同的评估。我想知道，什么样的知识、经验数据或论证有助于就风险达成共识。
人们对风险的估计以及哪些经验数据可能改变这种估计有着非常不同的看法。第一点是，有些人像杨立昆一样认为风险接近于零。有些人，例如 Joukowsky，认为这个数字大约是 99.999。我认为这两种观点都是完全疯狂的。不仅个人疯狂，而且也很疯狂，因为如果有一群专家，除非你认为自己比其他人聪明得多，否则如果你认为风险是零而其他人认为是 10%，你至少应该认为它是 1%。
我认为风险超过生存威胁的 50%。但我这样说并不是因为其他人也这么认为。我认为，考虑到我认识的每个人的意见，一个合理的说法是 10% 到 20%。我们有很大的机会生存下来，但我们最好认真思考如何做到这一点。
我认为我们最终会做的是，在人工智能变得比我们聪明之前，我们能够得到具有一般智力但不如我们的生物，我们将能够对它们进行实验，看看会发生什么，看看它们是否会试图控制它们，看看它们是否会在我们仍然能够控制它们的时候开始进化，但仅此而已。这将是一个非常激动人心的时刻。

我自己也有一个问题。我只是很好奇，根据你在谈话中到目前为止所说的内容，人们可能会感到惊讶，事情哦，但是你自己听起来相当悲观。我认为这太疯狂了。所以我很好奇你会在哪里进行对比。因为你说了很多人们会犯的错误，比如，没有足够担心。对于那些看上去很担心的人，您会说什么呢？
我对自己说，我有点抑郁。我认为我们还没有得到任何线索，所以 50% 是一个不错的数字。但其他人认为我们已经得到了一些线索，因此我将其调整至 10% 到 20%。
我们构建了真正强大的人工智能，只要它们愿意，它们就能接管一切。
那是去年的事了。
您对于该类参考类别中的人们的信念分布有何猜测？比如，这是否会成为人们在两年前就开始认真对待的问题？
可能还不够认真。但我认为他们中的很多人实际上都在认真对待这个问题，但还不够认真。我认为，只有发生重大灾难，他们才会认真对待。
这会发生吗？
你可以想象一些流氓人工智能试图接管并摧毁电网和供水系统等，但实际上并不管理这些系统。这会让人们认真对待这个问题。

好的，非常感谢您抽出时间。

• 
  
  
  

查看原图 781K

•