Google 前 CEO 埃里克·施密特近期在斯坦福 CS323 课堂上的访谈(后续)

2024年08月17日 262点热度 0人点赞 0条评论

 

Eric 的访谈是在斯坦福的课程《The Al Awakening:Implications for the Economy and Society》之上的,讲师是Erik Brynjolfsson,在 Eric 走了之后,还有一些内容讲的也非常不错,翻译后放上来了

***

实际上,让我再强调一下最后一点,因为我觉得在第一节课中我没有谈到关于使用大语言模型的事情,这在这门课的作业中是可以接受的,但必须充分披露。所以,当你使用它们,如果你在完成每周作业或期末项目时使用了它们,就像你向你友好的叔叔或同学寻求建议一样,你也应该这样做,或者如果你有笔记需要包含在内。

所以我想谈一谈关于 AI,特别是 GPT,这对商业及其影响意味着什么。但在我们讨论这个之前,我想看看你们是否有任何问题想要跟进,特别是关于 Eric 提到的内容,我会尽量表达他的想法,我们可以讨论一下这些话题,然后再继续。好的,你请说。

学生1:

我想问的一个问题是关于监管的。如果目标是保持领先地位,如何创造正确的激励机制,使每个人,无论是盟友还是非盟友,都有动力去遵守?

Erik: 你是指在竞争中的公司之间吗?是公司还是国家?

学生1: 是国家,比如美国和欧盟。这是否不会成为那些选择遵循法规的国家或公司发展的阻碍?

Erik:

这是非常棘手的问题。Barry J. Nalebuff 写了一本叫做《合作竞争》的书,其中讨论了这些问题。确实有些情况下,监管可以帮助公司和整个行业生存下来。所以监管并不一定会减缓进展。标准就是一个很好的例子,明确标准反而能帮助竞争。

我和许多公司的高级管理人员进行过交谈,他们确实希望在某些领域有一些共同的标准,有时候在一些危险领域还存在“竞相降低标准”的现象。谷歌的团队曾表示,他们没有更快推进的另一个原因是,他们担心大语言模型可能会被滥用或存在危险,但他们在某种程度上感到被迫加快步伐。

我还与另一家大公司的员工谈过,他们说,“我们本来并不打算发布这个功能,但现在竞争对手都在做,所以我们不得不也发布。”这也是为什么在某些情况下,可能会有协调监管的兴趣,但显然,更常见的情况是,监管被用来阻碍竞争。例如,很多人认为,一些大公司反对开源和推动更广泛的开源的部分原因,就是他们想要放慢竞争对手的步伐。所以,这两种情况都存在。

学生2:

好的。我想跟进一下刚才的讨论:我们还应该学编程吗?我们还需要学习英语吗?这些技能还会有用吗?

Erik:

Eric 的回答是肯定的,比如受过大学教育的高技能工作或任务仍然是安全的,但其他的,比如停车管理等,可能就不能保证了。这种情况可能有一些主观因素影响。

这个话题很有趣,或许我们可以在接下来的几分钟内再讨论更多。但确实值得思考的是,AI 系统到底是在替代人类的工作,还是在补充人类的工作。在编程领域,目前看起来,AI 似乎对最顶尖的程序员并没有太大的帮助,反而对中等水平的程序员非常有帮助。但如果你对编程一无所知,它同样也帮不上什么忙。所以这有点像一个倒 U 型。

可以理解这种情况,因为如果你连AI生成的代码都无法理解,那这些代码往往会有问题,或者并不完全正确。如果你不能理解代码的运行逻辑,那么你也无法有效地使用它。另一方面,对于顶尖的程序员来说,生成的代码仍不够优秀,所以才会出现这种倒 U 型曲线。但这也就意味着,如果你完全不懂代码,你仍然需要一些基础知识,才能让AI的帮助变得有用。我认为这也适用于当前的很多应用,你需要有一些基本的理解,才能最大程度地利用它。

我觉得这也是一个值得探讨的问题:这种情况是否会一直存在。在上一节课中,我简要介绍了从 0 级到 5 级的自动驾驶汽车。这其实也是我们可以讨论的一个话题,我在试图梳理,如果把这种模式应用到经济中的所有任务上,那它们会经历多少级别的变化?

就自动驾驶汽车而言,我们目前还没有真正达到第5级,虽然我不知道你们当中有多少人坐过 Waymo 的自动驾驶汽车。这款车的表现相当好,但我和 Sebastian Thrun 一起乘坐时,他说目前的运营成本非常高。可能每辆车的运营成本会亏损 50 到 100 美元。他并不确定具体的数额。因为他已经不在那儿了,虽然他是项目的创始人,但现在不再参与。运营成本太高,使得这款车并不实用。或许随着时间的推移,激光雷达的成本会降低,使得运营成本会降低。

我们有很多 2 级、3 级甚至 4 级的自动驾驶汽车,这些车辆还需要人类的参与。其他很多任务也是如此,比如编程,我刚才已经提到过了。

另一方面,关于国际象棋,在前一张幻灯片中我提到了一种有时被称为“高级国际象棋”或“自由式国际象棋”的概念。加里·卡斯帕罗夫在 1997 年输给深蓝之后,他发起了一系列比赛,让人类和机器可以合作。在相当长的一段时间里,比如在我 2012 年或 2013 年做TED演讲时,当时的情况是,人类与机器合作可以击败深蓝或任何国际象棋计算机。因此,当时最强的国际象棋选手是这些人机组合。

但现在情况已经不同了。像 AlphaZero 这样的程序,即使有人的参与,对他们来说毫无益处。反而可能对棋局造成干扰。所以,它经历了从机器什么都做不了,到人机合作,再到完全自主的阶段,我不太确定,大概用了 20 年的时间吧。

如果有人想做研究项目,或者你们现在有想法的话,可以探讨一下,哪些经济任务会处于那个中间地带。因为那个中间地带对我们人类来说是一个不错的区域,机器可以帮助我们,但人类在创造价值方面依然不可或缺。在这个区域里,可以提高生产力、创造更多财富和提高绩效,同时也更有可能实现共享繁荣。因为劳动力的分布性使得其更广泛,而技术和资本正如 Eric 刚才提到的,可能会高度集中。

你对此有什么看法吗?

学生3: 我想问一个相关的问题。Eric 还提到我们在芯片制造方面有一个10年的计划。

Erik: 是的,我对此感到惊讶。

学生3:

是的,我觉得有趣的是,作为一名劳动经济学家,文献和新闻中对此有一个积极的信号,如果我们正在将所有的芯片制造都转移到美国国内,那么这可能会带来蓝领工作的复兴吗?我想知道你对智能机器人模型或人类劳力有什么看法。
Erik:

嗯,我认为这不会有太大的影响。你们当中有多少人参观过芯片工厂?有人去过吗?有几个人去过。工厂里有多少工人在工作?
学生4:

是台积电吗?是纽约大学的人去的,所以我不确定。

Erik:

好吧,答案是零。他们不让人们进去的原因是我们人类太笨拙、太不卫生,所以全部都是机器人操作。所有设备都在密封环境中运行。因此,确实有人需要运送物资等工作。如果机器人倒了或者出现了问题,他们得穿上像太空服一样的防护服进去调整,然后再出来,希望没有弄坏什么。所以,基本上是全自动化作业。

对,我认为这需要一些更复杂的劳动力,但我不认为这会有太大的蓝领工人复兴。实际上,苹果之所以将 MacBook 的生产线转移到德克萨斯,不是因为德克萨斯的劳动力便宜,而是因为他们实际上不再需要太多劳动力。所以这个过程很像做体力劳动。因此,美国制造业虽然在产出方面增长明显,但在就业方面却并未有多大增长。

学生5:

你认为 AI 智能体或文本转行动模型在明年会出现转折点吗?

Erik:

哦,当然。不,不是。Eric说的这些,我也听说过类似的东西。他很好地总结了这三大趋势。我之前已经分别听说过这些趋势,但他能够将它们整合起来确实不错。

今天早些时候,我和吴恩达谈过,他一直在强调,特别是预计在 2024 年将会迎来智能体的大潮,吴恩达老师描述得很好,就像你们都知道的,如果你让一个大语言模型写一篇文章,它会一个字一个字地生成,从头到尾一次性完成,效果还不错。但想象一下,如果你写文章时不能使用退格键,也不能先做大纲,只能直接写完。现在的 AI 智能体会说,好的,首先我们需要制定一个大纲。这是写文章的第一步。接着,填充每一段内容,再回头检查文章的流畅性。然后,再看看语气是否合适,这是否符合目标读者的水平。通过这样反复迭代,你可以写出更好的文章或完成其他任务。这是一场真正的革命,通过这种方式,你可以把很多事情做得更好。

还有关于上下文窗口的事情,也非常重要。所以我引用一些我认识的聪明人的话,Eric Horvitz,我上周在 GSB 的一个讨论小组上与他同台,有些人可能在场。他提出了一个很好的分类法。人们在问他关于微调的问题,我记得是 Susan 问的。他说,其实有三种方法可以让模型更加个性化。第一种是微调,也就是进一步训练模型。第二种是使用更大、更强的上下文窗口。第三种是使用 RAG(检索增强生成)或类似的技术,它能够访问外部数据。

但现在这些上下文窗口似乎效果非常好。我想,正如 Eric 所说,我们本以为这很难。也许 Peter 可以解释一下。但不管怎样,现在我们能构建更大的上下文窗口了,现在,你可以输入一整本书或一整套书籍。你可以输入各种各样的信息。这能给你提供所有的上下文环境。所以这是相当革命性的。这为我们带来了许多之前没有的能力,包括让信息实时性更强,就像 Eric 提到的那样。

 

Google 前 CEO 埃里克·施密特近期在斯坦福 CS323 课堂上的访谈(后续二/完结)

Erik:

这是一个很好的问题。我的意思是,虽然确实有更多的资本投入,但这也引发了一些问题和评论。为什么所有这些资本都投向 AI,而不是其他地方呢?
我认为,你知道,如果你观察历史的发展轨迹,有时看起来很平滑,但如果仔细观察,就会发现很多跳跃式的发展。有一些重大的发明和小的创新。

Andrew Karpathy 曾表示,他曾研究物理学,要在物理学上取得重大进展,成为顶尖的物理学家,你必须非常聪明,学习很多东西。也许如果足够幸运,你可以做出一些微小的贡献,有些人确实做到了。但他表示,现在在人工智能和机器学习领域,我们似乎正处于一个有大量“低垂果实”的时代,已经有了一些重大的突破。相比于像摘树上所有果实那样耗尽资源,现状更像是组合数学。

在讨论第二次机器时代时,人们提到了"积木"这个概念。当你把两块积木或两块乐高积木组合在一起时,你可以创造出越来越多的新东西。现在我们似乎正处于这样一个充满机会的时代,人们也开始意识到这一点。一个发现往往会带来另一个发现,进而产生新的机会。由于这个原因,越来越多的投资和人力被吸引进来。

在经济学中,有时候更多的资源投入会导致边际收益递减,比如在农业或采矿业中。然而在别的地方,资源的投入则可能带来增长的回报。更多工程师来到硅谷,会让现有的工程师变得更加有价值,而不是更不值钱。我们似乎正处在一个这样的时代。额外的投资和培训资金也使这些技术变得越来越强大。我不确定这种情况会持续多久,但现在看来,有一些技术已经走进了这个极其丰饶的时期,并且带来了积极的反馈和支持。

我们似乎正处于这样的时代。因此,现阶段进入这个领域并接受培训的人,往往能够在相对较短的时间内做出相当重大的贡献。我鼓励你们所有人,我认为你们现在正在走在正确的道路上。

学生7:

并不是每个人都有机会参与到关于 AI 的讨论和辩论中来。因此,我想了解你对非技术背景利益相关者 AI 素养的看法,不论他们是需要做出一定见解判断的政策制定者,还是普通大众,比如使用科技产品的用户。你觉得在解释技术基础和讨论那些看起来很抽象但不一定马上看出答案的影响时,应该怎么平衡呢?

Erik:

这是个难题。我必须说,最近在国会和其他地方的人们对这个话题的关注度有了显著提高。过去他们对此并不感兴趣,现在每个人都在试图更好地理解它。我认为有很多领域人们可以做出贡献。他们可以在技术层面上做出贡献,但如果让我选择,我认为当前更大的瓶颈在于商业和经济层面。即便你在技术上做出了重大贡献,要将这些转化为能够影响政策的结果,还有一段距离。

因此,如果你对政治学感兴趣,或者是一个政治家,理解民主、错误信息、权力集中等方面的影响,这些问题目前都还没有得到很好的理解。我不认为计算机科学家一定是理解这些问题的最佳人选,但要了解足够的技术基础,明确技术可能实现的方面,接下来需要思考这些动态,就像亨利·基辛格与埃里克·施密特在书中所做的那样。

如果你是经济学者,需要去思考劳动力市场、集中度、不平等、就业、生产力以及驱动生产力的各种影响。这些都是当前非常值得深入探讨的课题。你可以去研究很多不同的领域,在那里你可以充分理解这项技术可能的能力,然后进一步思考其可能产生的影响。我认为这就是我们可以获得最大收益的地方。

让我给你举一个更具体的例子,这是我上周原本打算谈及的一个话题。电力也是一种通用技术。通用技术有一个特点,它们本身就是一种重要的创新,但通用技术真正的力量之一,正如我所说的 GPT,是它们提供了互补性,它们能够激发出互补的创新。比如,电力带来了灯泡、计算机和电动机,而电动机又推动了压缩机、冰箱和空调的发明。你可以从这一项创新中引发一系列连锁的创新。而大部分的价值来自这些补充性的创新。

人们常常没有意识到的是,一些最重要的互补创新其实是组织创新和人力资本的互补。以电力为例,当电力首次引入工厂时,密歇根大学的教授 Paul Davis 在斯坦福研究了这些工厂的变化,令人惊讶的是,工厂电气化后,他们的生产力并没有比之前由蒸汽机驱动的工厂有显著提高。他觉得这很奇怪,因为电力看起来像是非常重要的技术。这只是一种风潮吗?

显然并不是。使用电力之前的工厂是由蒸汽机驱动的。他们通常会在工厂中心位置放置一个大蒸汽机,然后通过曲轴和皮带驱动所有设备,并尽可能地让设备靠近蒸汽机,因为如果曲轴过长,可能会因为扭力而断裂。当他们引入电力时,他发现在一个又一个的工厂里,他们会拆除蒸汽机,然后找到最大的电动机,放在蒸汽机原来的位置,然后启动它。但这并没有真正改变整体的生产效率。很明显这并不是一个巨大的改进。

于是他们开始在新的地点从零开始建设全新的工厂。那些新工厂长得怎么样?跟旧的工厂一模一样。他们会采用同样的模型,一些工程师会画出蓝图,在应该放蒸汽机的地方打上一个大大的 X,说:"不,不,这里应该放一个电动机," 然后他们就开始建设全新的工厂。然而,这并没有带来显著的生产率提高。

大约 30 年后,我们才看到一种根本不同的工厂模式。这种工厂没有中央电源,也就是说,没有在中间放一架大型电动机,而是采用分散式电力供应,因为电机,如你们所了解的,可以做得很大,也可以做得中等,也可以做得非常非常小,你可以用各种方式将它们连接起来。于是,他们开始让每一件设备都有自己独立的电机,而不是依赖一个大电动机。他们把它称为单元驱动,而不是组驱动。

我在哈佛商学院的贝克图书馆读过 1914 年的一些书,当时关于单元驱动和组驱动的讨论非常激烈。当他们开始使用单元驱动时,他们就建立了一系列新的工厂。工厂通常只有一层,设备的排列不再基于动力需求,而是基于其他因素如物料的流动,于是流水线系统开始形成。这带来了生产力的大幅度提升。比如生产力提高一倍,有时甚至三倍。

所以,教训不是说电力是一种短暂的风潮,或者是失败的、被过度炒作的。电力是一种非常有价值的基础技术。但只有在他们进行了流程创新和组织创新,重新思考生产方式后,才真正实现了巨大的回报。

这样的故事很多。我只讲了一个。我们时间有限,我还可以告诉你其他的例子。但在我一些书和文章中,如果你看看蒸汽机和其他技术,会发现类似的代际滞后期,经过几代人的努力,人们在数十年后才意识到这项技术可以让你做的事情完全不同于你过去常做的事情。我认为 AI 在某些方面也有点类似,将会出现很多的组织创新,会有新的商业模式以及我们之前从未想到过的经济组织方式。目前,人们大多是在进行技术改进。我可以列举一系列与技术互补的技能变革。

虽然我不知道所有的变革是什么,需要创造性地去思考这些问题,但这就是当前的差距所在。以早期的电脑为例,组织资本和人力资本的投资实际上比硬件和软件高出 10 倍,如果你看看硬件和软件的投资规模。这是一个非常大的问题。

话虽如此,我愿意稍微调整一下我的看法,因为像 ChatGPT 和其他一些工具,它们被迅速地采用,并且在短时间内改变了很多事情,部分原因是你不需要像过去那样深入学习 Python。你只需要用自然语言就能完成很多事情,通过将这些工具应用到现有的组织中,可以获得很大的价值。因此,某些方面的变化确实发生得更快了。在你可能读到的一些论文中,我们看到生产率在短时间内提高了15%、20%、甚至30%。但我怀疑,一旦我们找到这些互补的创新,生产率的提升会更大。

这就是我对你问题的长篇回复。这不仅仅是技术技能的问题,还包括重新思考所有其他相关问题的方式。因此,对于那些在商学院或经济学领域的人来说,有很多机会可以重新思考你们的领域,因为你们现在手中有了强大的技术。

学生8: 你似乎比 Eric 对转型速度更为谨慎,我理解的对吗?

Erik:

嗯,我会在两件事情之间做区分。我会听取他和其他人对技术的观点。我们将从其他几位专家那里听到他们的看法,有些人像他一样乐观,甚至对技术更乐观。当然,也有一些人对此并不那么乐观。但仅有技术是不足以创造生产力的,你可能拥有一项极其出色的技术,但由于种种原因,A,可能是因为人们找不出有效的使用方式。另一种可能是受到了监管的限制。

我有一些计算机科学的同事,他们开发了更适合读取医学图像的放射科系统。但因为文化原因,它们没有被采用,人们不愿接受它们。还有安全方面的考虑。

当我分析哪些任务 AI 可以提供最大帮助,以及哪些职业受影响最大时,我惊讶地发现飞行员的排名竟然靠前。但我认为很多人并不会愿意乘坐无人驾驶的飞机,他们更喜欢有人类飞行员在飞机上。因此,有许多不同的因素可能会显著减缓这个过程,我认为这是我们需要意识到的。如果我们能解决这些瓶颈问题,可能对生产力的帮助会超过单纯改进技术。

学生9:

Eric 对大学和数据中心的观点很有意思。这引发了一个更宏大的问题......

Erik: 我本来想问他,为什么不直接捐钱?

学生9:
这就像是在探讨大学在生态系统中应扮演什么角色?显然,这里有更大的背景,我确信所有的计算机科学教授都意识到了这一点。

Erik:
我来回答这个吧,我认为如果有更多的资金支持会更好。联邦政府有一个叫“国家AI资源”的项目,虽然它提供了一些帮助,但资金规模只有几百万美元,顶多几千万美元,而不是几十亿美元,更别说是几千亿美元了。尽管 Eric 在课前告诉我,他们正在推动一个可能更大的项目。他正在推动一个更大的项目。我不确定这能否成功。这个项目是为了训练这些非常大的模型。

我曾与杰夫·辛顿进行过一次非常有趣的对话。大家都知道,杰夫·辛顿是深度学习的教父之一。我问他在工作中,他认为哪种硬件最有用。他坐在他的笔记本电脑旁边,轻轻地拍了拍他的 MacBook。这让我想到,大学或许在另一类研究中有竞争优势,这类研究不是训练价值数十亿的模型,而是创新新的算法,比如那些可能超越 Transformer 的算法,还有很多其他方式可以让人们做出贡献。所以或许这里存在劳动分工。我完全支持并赞成我的同事申请更多的 GPU 预算。但学术界的贡献未必总是在这里。有些贡献来自于新的想法、不同的视角和新的方法。这可能是我们的优势所在。

我上周与 Sendhil Mullainathan 一起吃晚餐。他刚从芝加哥搬到了麻省理工学院。他是一名研究员。我们在谈论大学的相对优势是什么。他认为,其中之一就是耐心。在大学里,有些人专注于非常长期的项目,像是有人在研究核聚变。研究核聚变的人已经工作了很长时间,不是因为他们会在今年或十年后从建造核聚变电站中赚到很多钱,甚至也许二十年后都不会。我不知道核聚变需要多长时间。但这是一件他们愿意长期投入的事情,即使时间线更长。对公司来说,承受这样长时间线的项目要困难得多。因此,大学在这方面或许有一定的相对优势或者说分工。

学生10:

我是凯文。我对 AI 的涌现能力感到好奇。好的。Eric 似乎更倾向于讨论架构差异和设计更好的模型,而不是上次课我们讨论的规模定律。我想知道你怎么看......

Erik:
嗯,他提到了全部三个。你们还记得规模定律吗?它有三个部分。我记得我提到了 Dario 和他的团队的规模定律,要有更多的算力,更多的数据,以及算法的改进,例如增加参数。所有这三个部分......我认为我听到 Eric 说所有这三个部分都很重要。但是不要忽视最后一个部分,新的架构,所有这三个部分,我认为,都很重要。

学生10:
我们离拥有通用人工智能类型的系统,像这些脱离实际曲线的模型,有多近呢?这个问题可以吗?

Erik:
Eric 并不认为我们离拥有通用人工智能类型的系统很近,虽然我不认为这是一个明确的定义。实际上,这也是我本来想问他的问题之一,但时间不够了。如果能听他详细描述一下就好了。

但当我与他交谈时,发现这个概念并不是那么明确的。在某种程度上,通用人工智能已经出现了。Peter Norvig 写了一篇名为《AGI 已经出现》的文章。我不知道这篇文章是否在阅读材料里。如果没有,我会把它加入。这是一篇与 Blaise Agüera y Arcas 合作的有趣的小文章。许多二十年前人们认为通用人工智能应该具备的能力,现在的大语言模型已经实现了。虽然可能没有做得那么完美,但它确实在以一种更通用的方式解决问题。另一方面,显然目前有很多事情它们做得不如人类。

令人意外的是,物理任务是人类目前具备比较优势的领域。你们可能知道 Moravec 的悖论,Hans Moravec 指出,通常三岁或四岁的孩子能做的事情,比如扣纽扣或上楼梯,对机器来说却很难。然而,很多博士都觉得困难的事情,比如解决凸优化问题,机器却往往能做得很好。所以,这并不是一个非黑即白的情况......人类觉得简单的事情电脑却觉得困难,反过来,电脑觉得简单的事情,人类却可能觉得困难。这两者并不是在一个相同的尺度上。

Subbear

保持饥渴的专注,追求最佳的品质

文章评论