今天的嘉宾其实无需过多介绍。我记得大约25年前第一次见到Eric，那时他作为Novell的首席执行官来访斯坦福商学院。从那时起，他做了很多事情，他在Google（大概是从2001年开始）和Schmidt Futures（从2017年开始）做了很多事情，还有很多其他的事情你们可以查询了解。但他只能待到下午5点15分，所以我想我们直接进入问题环节。我知道你们也有一些问题。我这里有一些我写下的问题，但我们在楼上刚刚谈论的内容更有趣。所以我想从那开始，Eric，如果你不介意的话。
AI 的未来发展
主持人：那就是，你预见AI在短期内，我认为你定义的是未来一两年，会有怎样的发展？
Eric：事情变化得如此之快，我感觉我每六个月都需要做一次新的演讲，讲述即将发生的事情。
主持人：在座的有没有人，一群计算机科学家在这里，有没有人可以解释一下什么是百万token的上下文窗口，为其他同学解释一下？
学生：在这里。基本上，它允许你用百万个token或者百万个词进行提示。所以你可以提出一个上百万词的问题。我了解到，这是当前通识教育关注的一个重要方向。
Eric：不，他们的目标是10个一百万。
学生：对，一千万？没错。
Eric：接着，Anthropic现在是20万，他们的目标是100万，以此类推。你可以设想OpenAI也有类似的目标。
主持人：谁能给出AI智能体的技术定义？
Jared：AI智能体基本上是执行某种活动的实体。这可能涉及在网上，代表你处理一些事情，可能是许多不同的事项，类似这些。所以，一个智能体就是执行某种任务的实体。另一个定义是，它是一个大语言模型，具有状态和记忆功能。
主持人：再来一次，计算机科学家，你们中有谁能解释什么是"将文本转化为行动"？
学生：就是把文本转变成行动。而不是把文本转化成更多的文本。
Eric：另一个定义是，将语言转化为Python代码。这是我一直不想看到的编程语言。然而，目前所有的AI工作都是在使用Python进行的。有一种新的语言叫Mojo，刚刚出现，看起来他们终于解决了AI编程的问题。但我们还要看，这是否能在Python的主导地位下生存下来。
技术和市场的动态
主持人：再来一个技术问题。为什么NVIDIA的价值和地位如此之高，而其他公司却在挣扎呢？
Eric：我认为，这主要是因为，大量的代码需要在CUDA优化下运行，而这是只有NVIDIA的GPU才支持的，所以，其他公司可以制造他们想要的任何东西，但是如果他们没有10年的软件开发经验，就不可能有机器学习优化。我个人喜欢把CUDA想象成GPU的C语言，对吗？这就是我喜欢的看法。它成立于2008年。我一直觉得它是一种糟糕的编程语言，然而，它却成为了市场主导。还有一点值得注意。有一套开源库，它们针对CUDA进行了高度优化，而对其他平台的优化却很少。每个构建所有这些堆栈的人——这在任何讨论中都被完全忽视了。这在技术上被称为VLLM以及其他一大堆类似的库。它们都是专门为CUDA而优化的，对于竞争对手来说，很难复制这个。
主持人：那么，这些观点对我们来说有何影响或意义呢？
Eric：在接下来的一年里，我们将看到非常大的上下文窗口、智能体和"文本转行动"等新技术的兴起，当它们能够大规模应用时将对世界产生的影响将超出我们目前的理解范围。这种影响将远超过社交媒体所带来的影响，我个人是这样认为的。以下是我的原因。在一个上下文窗口中，你基本上可以将其作为短期记忆。我对上下文窗口能达到如此之长感到惊讶。这主要由于它的计算和处理难度很高。短期记忆的有趣之处在于，当你输入信息，比如你问一个问题，"读了20本书，你输入这些书的文本作为查询，然后你说，'告诉我它们说了什么。'"它会忘记中间的部分，这与人类大脑的工作方式相似。对吗？这就是我们现在的状况。
主持人：关于智能体呢？
Eric：关于智能体，现在有人正在开发基于大语言模型的智能体，他们的做法是阅读一些像化学一样的学科，发现其内在原理，然后进行测试。然后他们将这些知识融入到他们的理解中。这是非常强大的。我提到的第三个要点是"文本转行动"。那么，我来举个例子，政府正在尝试禁止TikTok，我们拭目以待看结果如何。如果TikTok被禁，我建议你们每个人都这样做，告诉你的大语言模型，接下去的操作。复制一份TikTok。获取所有用户信息。获取所有音乐资源。加入我的个性化设置。在接下来的30秒内编制这个程序。然后发布出去。如果一小时内它没有迅速传播开来，那就沿着同样的思路尝试另一种方式。这就是命令。一步接一步，就这样。明白了吗？你知道这有多强大吗？如果你能从任意自然语言转换为任意数字命令，这在这个情况下就相当于Python，试想一下，如果地球上的每个人都有属于自己的程序员，他们会真正按照你的要求去做事，而不是像我手下的那些程序员那样并不总是按照我说的去做。明白了吗？在场的程序员都明白我在说什么。所以，想象一下，有一位既不自大，又会真正按照你的要求去做事的程序员，你甚至不需要付他一大笔工资。而且这样的程序无穷无尽。
主持人：这一切都将在未来一两年内实现？
Eric：马上就要到来。这三件事，我深信只有结合这三件事，下一波浪潮才会到来。那么，你问的是接下来会发生什么。我的观点每六个月会有所改变，这就像一个周期性的摆动。比如说，现在，那些前沿模型（只有三个，我待会会详细介绍）与其他所有人之间的差距，我感觉正在变大。六个月前，我坚信这个差距正在缩小。于是我在一些小公司投入了大量的资金。但现在，我对此已不再那么确定了。我现在正在和大公司们交谈，他们告诉我他们需要投入100亿、200亿、500亿甚至1000亿。比如说，Stargate的投入就达到了1000亿，对吧？这确实非常困难。
AI的投资与国家安全
Eric：Sam Altman是我的密友。他认为这可能需要投入高达3000亿，甚至更多。我向他指出，我已经计算出了这需要的能源量。然后，在完全公开的精神下，我上周五去了白宫，告诉他们我们需要与加拿大建立最紧密的关系。因为加拿大有非常好的人，参与了人工智能的发明，还有大量的水力发电资源。因为我们国家没有足够的能源来完成这件事。另一个选择就是让阿拉伯人来资助。我个人非常喜欢阿拉伯人。我在那里待过很久，对吧？但他们不会遵守我们的国家安全规则，而加拿大和美国是共同遵守安全规则的三方联盟（或三国集团）的一部分。因此，对于这些价值3000亿美元的数据中心来说，电力开始变得稀缺。顺便说一下，如果你沿着这个逻辑走下去，我为什么要讨论CUDA和NVIDIA呢？如果有3000亿美元都要流向NVIDIA，你应该知道在股市里应该怎么做。这不是股票推荐，我并不是许可证发放者。（观众笑）部分原因是，我们需要更多的芯片，但英特尔正在从美国政府和AMD那里得到大笔资金，他们正准备在韩国建造半导体工厂。
主持人：有谁的计算设备里有英特尔的电脑或者芯片呢，请举手。
Eric：看来，垄断不再是什么大问题了。
主持人：这正是我想说的。
Eric：他们曾经垄断过。
主持人：没错。
Eric：而现在Nvidia有垄断。
主持人：那些对进入的障碍呢？例如CUDA，还有其他的，就像我前几天和Percy Lanny聊天时提到的。他根据训练模型所能获得的设备，会在TPUs和NVIDIA芯片之间做选择。
Eric：那是因为他别无选择。如果我有无限的资金，我会今天选择NVIDIA的B200架构，因为它运行更快。我并不在这里提倡什么，我只是想说有竞争是好事。我和AMD的Lisa Su有过长时间的交谈。他们正在开发一种能将你描述的这种CUDA架构转换为他们自己的架构，即RockM。目前它还不能完全运行，他们正在努力改进。
谷歌、OpenAI与企业文化
主持人：你在谷歌工作了很长时间，他们是Transformer架构的发明者。
Eric：是彼得，都是彼得的错。
主持人：那里有像彼得和杰夫·迪恩这样的出色人才。但现在，他们似乎已经失去了对OpenAI的主动权。我看到的最新排行榜上，Anthropic's Claude是榜首。我问过Sundar这方面的问题，他并没有给我一个明确的答案。或许你能给出一个更明确或更客观的解释。
Eric：我现在已经不再是谷歌的员工了。确实如此。我要坦白的说，谷歌认为工作与生活的平衡，早点下班、以及在家工作比赢得比赛更重要。（笑）创业公司之所以能够成功，是因为员工拼命工作。很抱歉如此直言不讳，但事实是，如果你们离开大学去创办公司，你不会允许员工在家办公，而且每周只来公司一天，如果想要与其他创业公司竞争的话。
主持人：Google创业初期，Microsoft就是这样。
Eric：对的。
主持人：但现在似乎——
Eric：在我们这个行业里有很多公司，以真正创造性的方式赢得市场并在某一领域取得主导地位，但却未能完成下一次转型。这种现象很常见，并且有很多文献记录。我认为，创始人是特殊的，他们需要掌控一切，与他们共事可能会很艰难，他们会给员工施加很大的压力。我们可能并不喜欢马斯克的个人行为，但你看看他是如何推动员工的。我曾和他共进晚餐，当时他在蒙大拿州，而那天晚上10点他要飞往另一个地方，凌晨12点与http://X.AI开会。对吧？你想想看吧。
主持人：我曾去过台湾，有着完全不同的文化，他们（台积电）让我印象深刻的一点是，他们有一条规定：这些刚入职的优秀物理学博士需要在地下一层的工厂工作。你能想象让美国的物理博士去做那样的事吗？几乎不可能。他们的工作态度和我们有所不同。
Eric：而问题在于，我之所以对工作要求这么严格，是因为这些系统具有网络效应，时间是非常关键的。在大部分业务中，时间其实不那么重要。你有充足的时间。可口可乐和百事可乐会一直存在，他们之间的竞争也会持续，这一切都在慢慢发展。我和电信公司打交道时，一般的电信交易要花费18个月才能完成。实际上，没有任何事情需要花费18个月去完成。要迅速行动。
主持人：我们现在处于最大的发展期，最大的进步期。这也需要一些疯狂的想法。比如当微软与OpenAI达成交易时，我认为那是我所听过的最愚蠢的想法。将AI的主导地位让渡给OpenAI，包括Sam和他的团队，这简直太疯狂了。在微软或其他任何地方，都没有人会这么做。然而现在，他们正在朝着成为最有价值的公司的目标前进。他们和苹果公司的竞争激烈。苹果公司并没有一个好的AI解决方案，而微软看起来已经成功了。
文章评论