好的，我们要开始了吗，Jeff，欢迎你。

恐怕我的嗓子哑了。

我平时声音不是这样的，但我们会尽力而为。

你构建了 MapReduce、Big Table、TensorFlow、TPU 和 Gemini。我们完全可以花一小时来谈论你所做的一切，但我欣赏的是，你依然在公开场合做出大胆的预测。去年， 2025 年 5 月在 AI Ascent 上，你说 AI 的水平相当于初级工程师。那大约是一年前的事了。距离那个预测实现有多近了？

我觉得这些模型在基于智能体、运行时间更长的编程任务方面已经进步了很多，而且现在看来它们确实相当能干。根据你对初级工程师的精确定义，我觉得这个预测似乎非常准确。

在那个预测中，你低估了什么？

我认为执行越来越复杂任务的能力增长速度超过了我的预期。而且我认为在编码之外，这些基于 Agent 的系统确实开始在其他领域大放异彩。

并且我认为，这将是未来的一个重要趋势。那么，再给我们一个大胆的预测吧。你认为 2027 年的版本会是什么样的？

我认为你会看到 ML 系统本身的自动化程度大幅提升。基本上就是让 ML 系统通过进行大量的实验、将问题拆解为子问题、在紧凑的自动化实验循环中运行 these 子问题、汇总结果，从而能够通过这种完全自动的问题分解和自动化实验，产出性能更优的系统。

我认为这会非常令人兴奋。我认为这不仅适用于 ML，也适用于其他科学和工程领域。基本上，任何拥有可衡量目标的事物，我认为在当今时代都能取得很大进展。

现在让我们回顾一下历史。早在 2001 年，Google 搜索还是运行在硬盘驱动器上的。没错。你和 Sanjay 当时进行了计算，意识到在某个时间点，整个搜索索引最终将能够装入你们所有运行中计算机的内存里。于是你们得出了那个激进的认识。你们基本上在几天内就与 Sanjay 一起，向生产环境发布了一个全新的搜索版本，它运行在内存中，而不是硬盘驱动器上。

正是这件事让 Google 搜索变得如此之快。所以历史往往会重演。那么……在 2026 年的当下，那个“装入内存”时刻是什么？在场的所有人都应该思考并据此进行设计。

虽然情况有些不同，但我认为你会看到越来越多的高性能、低功耗推理硬件系统出现，因为我认为大家现在都意识到，推理是实现这些基于智能体的系统的关键。

让更多人能够使用，并且延迟至关重要，而硬件的专业化是实现比 GPU 或 TPU 等通用计算设备更节能、更低延迟的关键途径。因为我认为在座的各位都习惯了等待模型响应。没错，等待可不是什么愉快的体验。

掌握速度。所以你的意思是，如果我们不再需要等待会怎样？

是的。想象一下，如果延迟能改善 50 倍，你将能做到什么程度。

这很有趣。那么，现场这 6,000 人目前对 AI 持有的假设中，哪一个其实是错误的？这是个好问题。

我认为大概有一点是人们还没有完全意识到，即拥有基于智能体的系统是多么可行，它们不仅能在你关注的问题上运行一两个小时，而且在某些问题领域，在功能强大的底层模型支持下，你可以让它们运行几天甚至几周，并完成非常复杂的任务。我认为，开始有一些人已经初见端倪了，但我认为并非每个人都真正领悟了这一点。而这将是一件相当重大的事情。

你运行过什么特别的任务，需要耗时数周之久吗？那是关于什么的？你让这些 agent 去解决什么问题？

我认为你可以让 agent 去着手实现用不同的编程语言重构出全新的软件版本，这些版本可能具备更好的安全特性或性能表现，然后，它们可以去真正付诸实施，以一种相当严谨的方式。

这真是太酷了。现在，你非常出名的一点是，你非常擅长进行 napkin math。听起来很有趣。

关于您的一个故事是，2013 年当语音识别技术开始在 Google 投入使用时，您做过一个粗略估算：如果每位 Google 用户每天只用手机语音识别系统通话 3 分钟。您发现该系统对 Google 服务器的需求意味着必须将服务器集群规模扩大一倍，而仅仅为了实现语音识别这一功能，成本将极其高昂。

没错。

为了解决这个问题，我们基本上构建了一个定制芯片，这就是 TPU 的起源。

确实如此。

当时我们开始看到基于深度学习的语音系统和我们正在训练的语音模型产生了非常高质量的效果。但与旧的语音系统相比，它们的计算成本更高，不过却将错误率降低了一半。因此，这相当于在几个月的时间里，通过不断调整模型、进行小幅扩容并获取更好的数据，实现了语音识别领域 20 年的进步。

所以我们开始担心，如果语音识别效果大幅提升，人们的使用频率也会随之增加。那个粗略的估算就是基于此：如果人们开始更多地使用语音识别来口述邮件、与手机通话或进行其他操作会怎样？最后，我们意识到我们需要一个比当时运行在 CPU 上更好的解决方案。

因此我们提出了 TPU，它本质上是一种专门针对低精度稠密线性代数的处理器，而这正是几乎所有现代机器学习模型的核心。

我们今天所使用的现代机器学习算法。

如果你专门为 low 精度稠密线性代数构建一款芯片，且它无法执行其他任务，那么事实证明它在机器学习推理方面非常有用，尽管它无法运行 Chrome、Word 或其他此类程序。因此，该系统在几年后产出了一款芯片，其能效比当时的 CPU 和 GPU 高出 30 到 80 倍，且延迟也大大降低。延迟降低了约 20 到 30 倍。

TPU 今天所奠定的基础是令人难以置信的。你绝对无法预料到 TPU 在 Transformer 架构出现后会变得如此基础，毕竟 Transformer 架构是在你发明 TPU 之后才出现的。

没错，这就是我们构建通用线性代数系统的原因，而这正是 TPU 的本质。

因为我们知道机器学习算法仍在不断演进，你既不想过度专门化——而这正是 TPU 的核心所在——又希望能够专门化到足以获得巨大的性能收益，例如我们可以拥有非常大的乘法单元、高速内存、高速互联，或者后期的 TPU 将许多芯片高效地用于解决同一个问题。而且，我们现在已经持续扩展了这些系统，并在过去许多代产品中不断提升其性能。

令人难以置信的餐巾纸数学。所以，这是在说，餐巾纸算术很有用。那么实际上，在座每一位想要成为未来创始人的人，今晚应该进行什么样的餐巾纸数学计算，才能有可能构建出像 TPU 那样具有重大影响力的东西呢？这总是很难说。

我认为，思考一下你所看到的那些问题，无论你在想什么，你看到了什么样的瓶颈，以及是否有一些截然不同的思考方式来解决其中一些问题，从而能让你获得一个数量级甚至两个数量级的性能或能力提升，或者诸如此类的改进。因为有时候，如果你只是眯着眼审视一个问题，不要局限于一定要按照今天解决该问题的方式去思考，而是从第一性原理出发去思考如何解决它，你就能想出非常好的点子，这些点子可能正是其他人没有考虑到的。

这是个好建议。对了，在座各位如果还不知道的话，Jeff 多年前曾写过一份非常有名的清单，名为“每个工程师都应该知道的延迟数字”。这些数字涉及例如缓存未命中需要多长时间、磁盘寻道、网络数据包传输（比如从加利福尼亚到荷兰）等等，有很多关于分布式系统的此类数字，以及系统工程。这份清单已经被广泛流传，并成为了许多分布式系统工程师的圣经。

好的，确实如此。

现在，快进到未来，这份清单需要更新了。给我们一份 2026 年的 AI 版本。

如果你关注如今 AI 系统中重要的指标，你会想要了解诸如加速器主内存系统与片上内存之间的带宽这类信息，以及乘法运算单元或其他相关部件的性能。你想要知道进行单次乘法运算需要多少能量，芯片之间的互联带宽是多少，以及在该带宽下能够连接多少颗芯片？然后，如果你超越这个领域，比如，当你需要与数万颗芯片通信而不是 500 颗左右时，网络带宽的衰减情况如何。我认为这些都是非常重要的指标，它们确实会影响你对解决特定类型问题的思考方式。

我曾听你谈过一个有趣的观点，即如今衡量一切事物的单位是能量。

是的。

你指出进行一次计算或数学运算大约需要消耗 1 皮焦耳，但移动数据和执行数据 I/O 是其一千倍。

就是通过加速器从 HPM 将数据导入处理器，这样它才能真正进行计算。

没错。这种差距在潜移默化中决定了哪些产品是可行的，以及 AI 算法是如何构建的。那么，有哪些类型的问题是创始人一直称之为模型问题，但实际上却是能源或数据 I/O 问题的呢？

我认为你提到的例子，即移动数据与实际计算相比在能源消耗上有 1000 倍的差异，这是一个相当显著的问题。它塑造了我们在机器学习领域工作的许多方面。因为如果你没有那 1000 倍的差异，你就无需进行批处理了。

但你必须进行批处理，即一次处理许多示例或许多 tokens，以便分摊数据移动的成本，这样你付出的就不是 1000 倍的减速，而是 1000 倍除以批处理大小后的能源成本。而且，对于极低延迟的需求来说，批处理效果其实并不好。所以我认为，这类问题以及我们所使用的计算机硬件背后的能源考量，确实影响了我们在构建更高层系统时所做的许多决策。

一个非常具体的例子就是模型训练的完成方式。这里涉及整个关于对数据集进行分批（batching）以及运行迭代（epochs）的概念。人们可能会将其误认为是一个模型问题，但实际上这更像是一个系统数据 I/O 问题。

是的，没错。你必须通过组合批次来提高硬件的运行效率。理想情况下你或许可以进行批次大小为 1 的训练，但它的效率并不高。所以人们现在倾向于使用相当大的批次。

我知道你以利用长假或周末时间想出绝妙的解决方案而闻名，你觉得这有可能实现吗？是否存在这样一种可能，即 Jeff Dean 潜心研究几周，然后搞定批次大小为 1 的训练？

其实我一直在更多地思考推理方面的问题。所以我认为推理是一个相当有趣的问题，因为你确实需要极低的延迟。要知道，在训练阶段，你并不一定需要极低的延迟。我认为与今天相比，在专门针对推理的硬件优化方面还有很大的空间。

在推理方面，有哪些令你感兴趣且正在深入思考的方向？

尽可能减少数据移动，思考极低精度的运算，或许不再支持过多且繁杂的精度类型。如果你觉得已经找到了所需精度类型的最优解，或许可以直接将其固化到硬件中，而不必支持其他多余的功能。

这让我想起了一位著名计算机科学家提出的核心类比，即整个 AI 过程实际上就是一个巨大的压缩问题。因为为了实现数据的完全有损压缩并将其还原，你本质上必须真正理解这些数据。

是的。我是说，如果你真正理解了数据，就应该能够将其压缩得非常好。

而现在，Transformer 架构基本上就是已被证明非常有效的路径之一。

没错，我会这么说。

目前为止效果相当不错。

我的同事们的工作做得很好。

是的。现在，让我们把视野放宽一点。 AI 的进步过去意味着仅仅是更好的模型，你拥有更多的训练数据，以及参数更大的模型，但在最近几年里，情况逐渐转变为模型周围的一切，而不仅仅是模型规模、参数数量或更多的数据。它涵盖了诸如检索、工具、记忆、Agent 工具等一切事物，这或许可以归纳为人们所称的上下文工程。

没错，我认为模型只是你试图实现的目标中的一部分。

即构建一个能够解决真正有趣问题的整体系统。这涉及到一个知道如何使用各种工具的模型。它或许知道如何检索相关信息，也许拥有某种其在过往问题中检索到的其他信息的历史记录，并且能够将这些信息置于模型的上下文之中。

这样做的好处在于，这些信息对模型而言是非常清晰的。这与模型所使用的训练数据不同；在训练数据中，数以万亿计的 token 被混合在一起，融入了数千亿甚至数万亿参数的海洋中，其清晰度远不及模型针对特定问题或用例直接获取的实际上下文。

此外，我认为能够理解现有工具，判断哪些工具有助于解决问题的下一阶段，学会如何将问题分解为一系列工具调用，以及尝试多种解决路径并评估其效果，这些能力至关重要。这就是关于复杂智能体及多智能体系统编排的整体概念，我认为这会变得越来越重要，而且该领域正处于一个超级令人兴奋的时期。

我认为这个特定问题领域有趣的地方在于，在座的每一位其实都能参与其中。因为在过去，训练模型需要庞大的资源，以及对 GPU 和数据的极大访问权限。但对于上下文工程而言，在座的各位都能做到。你只需要 Gemini 这类工具的 API，然后就可以着手构建自己的检索系统、工具调用流程等等。那么，对在座的各位有什么建议呢？大家该如何提升并精通上下文工程呢？

没错，我认为实现这一目标的一个非常好的方法是利用这些模型以及各种工具框架等来尝试解决问题。有时你实际上可以观察到模型在哪些地方表现不佳。

通常情况下，你不仅可以通过调整模型参数（这在外部很难做到）来使模型表现更好并成功解决此类问题，还可以通过为模型创建更好的引导，或者编写让模型知道如何使用不同工具的技能，这对解决特定类型的问题将极其有用。我认为当你这样做时，你最终会进入一种自我改进的循环，即不断优化你试图用来解决问题的系统设置。

这是深入了解模型需要哪些额外信息才能变得更强大的一个非常好的方法。你能举一个你个人进行上下文工程的例子吗？比如，你编写的技能或工具，真正对你的工作流程产生了巨大影响的例子。

我想几周前 Sanjay 和我一直在工作，我们经常会对一些非常底层的库进行性能优化。我们在 Google 编写了一个微基准测试库，你可以用它来编写关于不同操作耗时的微基准测试。比如不同类型的操作需要多长时间，或者填充这种数据结构需要多长时间等等。

有时这些数据结构会被 Google 内部数以百万计的进程所使用，因此确保它们具备高性能显得尤为重要。

你可以编写微基准测试。但如果没有基于智能体（agent-based）的系统，通常的做法是衡量你所关注的特定基准测试在当前环境下的性能表现。你进行一些修改，期望以此提升性能。然后重新运行这些基准测试，观察哪些方面得到了改善。你可能会运行一组范围更广的基准测试，来衡量各项指标的缓存占用情况。

因此，我们编写了一项技能，本质上是教会模型如何以各种顺序执行这些操作，从而使其能够自主完成基准测试的测量、代码变更、性能提升评估，并据此进行迭代。这在当时看来效果相当不错。

对于某些类型的问题，这实际上只是我们将人类所采用的方法，转化为一种模型能够使用的形式传递给它。哇，这看起来非常令人印象深刻。所以你的意思是，你拥有这样一种技能，如果有人掌握了它，就能像 Jeff Dean 一样执行优化任务。看起来如果谁能获得这种设计能力，对于某些人来说将拥有无限的价值。

噢，实际上几个月前，Sanjay 和我写了一份名为 performance hints 的文档并发布了。

那是一份大约 30 页的文件，里面涵盖了各种各样的性能优化技巧。

有些人拿到了这份文档，将其摘要后喂给了各种模型，结果发现模型在分析代码性能问题时的推理能力确实得到了提升。

所以，你们都在这听到了。如果你采用这篇关于 performance hints 的论文，实际上就可以获得属于你自己的、像 Jeff Dean 那样的代码优化能力。

没错，这些都是可以免费获取的。

所以你们都应该尝试一下。非常酷。你刚才提到了 agents。在座的各位可能都在构建或者曾经构建过一个代理。而且我相信大家都见过自己的 agent 在大概第 30 或 40 步时出现失控的情况。比如 agent 在前 10 步左右表现很好，但到了第 50 步时就开始变得不稳定。你认为当今的制约因素是什么？是因为上下文、评估器，还是仅仅因为它是开环系统导致错误不断累积？

没错。显然我们希望 agent 能够长时间运行，因为这样它们才能解决越来越复杂的问题。但正如你今天所观察到的，它们有时在与工具交互 10 次左右后就停止工作了。有时这是因为模型正在尝试执行某项操作，而它在执行这项操作方面缺乏足够的经验。

所以它是在一整套事物上进行训练的。一旦你稍微偏离了它所知事物的分布范围，那么就像大多数机器学习模型一样，它的性能会突然开始下降。你离它擅长处理的舒适区越远，它无法正常工作的可能性就越大。

所以你可以做很多事情。例如，赋予模型一些技巧 and 提示，使它倾向于保持在它所熟悉的、更明确的路径上。我认为，拥有多智能体系统，即让多个智能体尝试不同的方法，然后你可以进行评估——或许让另一个模型或另一个智能体去评估哪些方法看起来有前景——这是另一种在某种意义上搜索路径、搜索潜在解决方案空间的方法，并坚持使用 those 看起来最有前景的方法，而放弃那些似乎不起作用或者偏离轨道的方案。

这是一种非常、非常有用的通用技术，即利用推理时间计算来对解决问题的可行方案进行搜索，这可以在长期运行的智能体流程中获得更高得多的性能或更强的可靠性。

你们在内部是如何为智能体实现这种特定工作流的？

我们有用于测试的框架，并且我们拥有一整套技能。特别是在 Google 的内部开发环境中，我们具备相关技能，使得智能体能够学会如何使用我们大量的内部工具进行编码、代码审查，或是进行性能评估以及获取日志文件。这些只是你可以添加的技能，用以提升基础模型的能力，即使它未必经过特定训练来掌握 Google 内部工程师获取日志文件的具体方式。通过我们专有的系统，只要有合适的技能定义，你实际上就能让它正常工作。这提升了智能体的实用性。

现在让我们谈谈初创公司可以在哪些方面胜出。这一部分是我个人非常关心的，因为在座的每一位都需要决定作为未来的创始人，你们未来要构建什么。关于 Google，我们要说的是，我们对系统中的一切进行协同设计。从处理器到产品，概莫能外。哪些层级是像 Google 这样的大公司会持续构建并不断积累优势的？而两三人的小型团队又能在哪些地方获胜？

我认为显然 Google 以及我们的 Gemini 模型 and 硬件基础设施，确实正致力于构建能够处理几乎任何任务的通用模型。但在许多情况下，这意味着我们没有投入太多精力去关注特定的领域；在这些领域中，也许一个设计精良的界面、一套模型与技能组合，或者一个未包含在我们模型擅长处理的通用范畴内的专业化模型，实际上具备显著优势。

因为你可以构建出令人愉悦且确实拥有极高准确度的产品，为你所热衷的领域实现真正的高质量成果。

我认为这正是两三个人聚在一起打造他们真正感兴趣的事物时所拥有的优势。

但我也要提醒，通用模型在处理越来越广泛的事务上确实正变得越来越出色。所以你必须思考，你正在从事的事业是否具有持久性？还是说你认为处于前沿地位的模型在未来 6 到 12 个月内就会做得更好？又或者这是它们在未来两三年内都无法企及的领域？在你决定投入什么工作时，你需要权衡这些因素。

那么，让我们对此进行更深入的探讨。当然，针对通用模型，你们会持续研发并不断完善它们。那么，受众应该如何判断哪些领域是这些模型无法胜任的呢？创始人应该如何思考挑选切入点和攻克目标？

选择一件你充满热情、渴望去构建，并且认为对世界有价值的事情是最重要的。如果你能做到这一点，就已经领先于那些每天醒来觉得不想做这件事，或者正在构建一个对世界或大众并无多大用处的东西的人了。所以我认为这是首要的选择标准。

我在思考接下来该解决什么问题时，也会尝试运用这一标准。

其次，我认为你需要观察当前更通用的模型在那个问题领域表现如何。你可以通过测试来验证它们是否能出色地完成任务。如果它们完全无法胜任，那可能是一个好迹象。如果它们能完成一部分但表现一般，那可能不是一个好迹象，因为这通常意味着这些模型已经具备了相关能力。随着训练数据的增加或模型规模的扩大，它很可能会变得更好。

所以，要去寻找那些模型成功率仅为 0% 或 1%，而不是 20% 的场景。你该如何找到这些场景？这些东西是否实际上偏离了训练集的数据分布？究竟什么样的具体问题形态才符合这种情况？

我认为有时你构建的产品能够获取某种特定的数据，而底层的通用模型可能无法获取。例如，你可能正在开发一个帮助用户整理个人信息的工具，而模型并不一定能直接访问这些数据。因此，你在这里可以拥有巨大的优势，因为你的产品突然获得了对重要数据的可见性。

它可能是一些极其困难的问题，如果你能获得正确的训练数据并训练一个比通用模型更具体的专用模型，实际上可以以非常经济的方式实现。也许针对特定问题训练一个垂直领域模型并不需要太多的计算资源，但你可以获得非常高的准确度。这有时可以成为解决一个重要问题的非常好的基石，而这个问题或许在通用模型中并未得到很好的处理。

我认为这很有趣。我认为你基本上是在走两条路。第一条路有点意思，那就是你们正在整理世界上的信息。这方面可能已经涵盖得相当全面了。

是的。

但整理你个人的信息则是一片空白，这很有趣。

没错。

然后是第二条路，你谈到了在某些特定领域采用更加专业化的模型。你能告诉我们更多关于这些领域的情况吗？

可以，如果你看看我同事在 AlphaFold 上的工作，那是一个专门针对蛋白质折叠的模型。它非常成功，能够非常出色地处理该领域的问题，因此你突然拥有了这样一种惊人的工具和模型，能够极其有效地为你提供有关蛋白质及其结构的答案。但它并不是一个通用模型。它是一个非常具体的模型。

还有其他领域。我认为在某些领域，这种方法可以发挥非常好的作用。也许是材料科学、芯片设计或类似的领域，它们将使你能够利用一个非常精确但垂直的模型能力，去完成当今难以实现的任务。

这是一个很好的例子。所以，如果你们中有人发现了一个与 AlphaFold 类似的问题，那可能就是一个值得研究的好问题。

现在，假设你已经找到了一个要解决的问题。我们接下来要讨论的是，你如何成为一名 AI 原生创始人，如何真正做到游刃有余？你过去曾说过，管理由 50 或 100 个智能体组成的集群，关键在于撰写非常出色、清晰的设计文档或规范。人们是如何擅长这一点的呢？那些看起来是什么样的？

我认为当你与虚拟智能体合作时，你会获得更大的成功，如果你能明确指定你想要什么的话。你对想要的东西描述得越清晰，智能体所拥有的指导方针和规则，或者说它试图实现的目标大纲，就会越完善。而如果你没有指定太多内容，智能体就必须去推断你的意图，在很多情况下，它推断出的结果可能与你的构想存在差异。

因此，我们从一开始就一直告诉计算机科学家，在编写软件之前，明确该软件试图实现的目标是非常重要的。现在我们确实拥有了可以进行编写工作的基于智能体的系统，但明确需求的重要性实际上提高了，因为以前你会把任务交给一个非常聪明的人类，他们可能具备背景信息或可以向你提出后续问题。智能体有时也能做到这一点，但我认为清晰的规范仍然是一个非常好的主意。

为了给你举一个编码智能体应用效果极佳的例子，你可以要求当下的模型非常高效地将软件从一种计算机语言翻译成另一种计算机语言。因为在这种情况下，你实际上拥有了极其详细的规范。你拥有了整个软件，它明确规定了系统应该实现的功能。因此，如果你有一个用 Python 实现的程序，而你想要一个 Go 版本的实现，这完全可行。

如今的模型似乎在这方面表现得极其出色，因为它们可以获取 Python 中的所有测试用例，确保它们在 Go 版本中通过，将测试翻译成 Go 语言，对比不同实现之间的行为差异直到完全一致，并能非常高效地完成任务，因为其规范十分清晰。现在，假设每位创始人都能熟练地同时运行数百个智能体，并且所有的代码都由这些智能体编写。那么什么会成为稀缺技能呢？

我认为关键在于对你要求智能体从事的工作要有极高的品味。以我的背景来看，这就是研究问题的核心所在。研究人员可以拥有所有的工具和技术，但往往大部分的难点在于你将时间投入到什么问题上。

如果你能选好问题并成功解决它，这远比出色地完成一项极其枯燥的研究课题要有价值得多。

因此，那种关于该致力于何种工作的高层智慧，我认为极其重要。我认为模型未必能在这方面表现得那么出色。所以，未来将由人类来引导大量的 AI 辅助计算，以成就伟大的事业。而且速度会更快。但你希望模型去完成的核心本质，才是你应该关注的关键所在。

那么，让我们多聊聊品味，因为在当前的 Agent 领域中，这个话题讨论得非常多。你究竟该如何培养品味并将其付诸实践呢？这听起来太深奥了。你如何让它变得具体化？这是一件困难的事情。

在很多情况下，品味似乎并没有一个可量化的客观标准。我认为部分品味源于经验，过去处理过许多不同问题的经历会让你洞察哪些问题在未来可能具有研究价值，或者通过整合以往的方法并解决一些悬而未决的难题，哪些事情是勉气可以实现的，从而达成某种近乎奇迹或极具价值的成果。

另一种积累经验的方法是，写下你认为在未来 12 个月内可能很重要的事项。你可以从中挑选一项进行研究，但在 12 个月后回顾并评估其他事项，看看哪些确实变得重要了，哪些是世界上其他人已经着手创造出来的，而哪些似乎还没有人触及。这能为你提供更多样本，以培养你建立品味的能力。这是一种非常重要的技能。

我认为第三种方法，就像我们刚才谈到的，是进行极其大胆的思想实验。

没错，那也是一个很好的方法。我认为有时候不把大多数人视为理所当然的事情当成理所当然，是有益处的。前几天，我和几位同事进行了一项疯狂的思想实验。内容是关于过去 60 年来，整个硅芯片设计产业、设计与制造行业投入了巨大的努力，旨在制造出错误率极低的、规模越来越小的晶体管，这是因为我们预设的目标是：我们生产的每一块同设计芯片都应该完全一致，与每一块其他的芯片都相同。

你不希望出现任何位翻转。

任何位都不应该翻转。存在各种各样的因素。内置了各种各样的误差容限，比如现在内存都配备了 ECC memory。在宏观层面上，当我们构建大规模分布式系统时，我们并不会做出这种假设，我们用不可靠的组件构建可靠的大规模分布式文件系统，比如单个磁盘可能会损坏，但你的数据应该是安全的。

因此，我们在更高层级采用了多种机制，例如在三台不同的机器和三个不同的机架上各存储一份数据副本，这样即使任何机架交换机、单台机器或磁盘发生故障，你依然拥有这些数据。我们使用了 Reed Solomon 纠删码技术。但我们似乎并没有在我们所研究的技术晶体管层级上实现这种极端的可靠性设计。那么这会是什么样呢？

基本上，一个有趣的思维实验是：如果你尝试用每天可能会出现 20 次错误，而不是每百万年出现一次错误的晶体管来构建系统，会发生什么？那将是一个非常不同的设计节点，也可能会使你在制造工艺方面实现真正有趣的事情。你会采用截然不同的设计方法论，因为如果你想把信号从一处传到另一处，而这些晶体管又极不可靠，那么你可能需要采用完全不同的信号传输方式。

你可能会通过多条冗余路径发送信号，以确保其中至少有一条路径能成功传输。

我认为那会是一系列相当有趣的思维实验。我并不是说我们应该真的去做，但这正是那种偶尔需要质疑既有假设的情况。通常情况下，这些思维实验往往行不通，因为过去 50 年来我们之所以采取某种方式而非另一种方式，是有其充分理由的。但偶尔重新审视这些做法是有益的。

这真是太酷了。它开始与 neuromorphic computing 或人脑的工作机制以及自然运作的方式产生许多共鸣。

确实如此。就像我们大脑中的信号，从一个地方传递到另一个地方时并不特别可靠。所以我认为在大脑中，当有非常重要的信息需要从一个地方传递到另一个地方时，会有多种路径来确保这一过程的实现。

话说回来，你的职业生涯真是令人印象深刻。有哪些你曾经抛弃的疯狂假设，却在后来构建出了具有深远影响的系统？那确实奏效了。

我认为 TPUs 就是一个很好的例子。比如，在某个问题领域显得像今天这样重要之前，能够为该领域专门定制硬件，这是一种思想实验。

而且，我认为 MapReduce 的起源是另一个很好的例子。当时我们、Sanjay 以及其他几位同事，已经在 Google 致力于各种迭代的抓取和索引系统。而且，我们编写了大量的手动并行化代码，并辅以大量的检查点机制，以确保当它在 100 台甚至 1,000 台计算机上运行时能够稳健且可靠。

而且其中一些机器确实会宕机。但这些代码往往与你通常试图执行的相对简单的任务混杂在一起。比如，我只是想查看所有网页的内容，然后顺便计算出一个从 URL 到该页面所用语言的映射。这是该页面的文本。

而且它会被所有这类用于并行化和可靠性的其他代码所掩盖。

于是我们某种程度上……回想起了我们在函数式语言方面的训练，意识到我们可以审视这些问题，并开发出一种可以在该实现之上的 MapReduce 抽象。而在该实现之下，你可以将所有的检查点和可靠性机制放入那个底层库中，从而让所有一切都能够在此基础上构建。因此，从“如果我们审视它，能否找到许多适合这种抽象的问题”这一思想实验出发，这成为了一种在 Google 处理超大规模计算且稳健可靠的极其成功的方法。

这令人印象深刻。所以这个思想实验引导你创造了 MapReduce。

是的。

现在让我们回到正题，你刚才谈到你目前对研究大量定制化硬件的兴趣。那么现在，AlphaChip 负责进行芯片布局设计。现在你还有了 AlphaEval，它负责提出解决方案、对这些方案进行评估，并保留所有行之有效的方案。看起来你正开始构建所有这些能够复合并打造出“AI构建AI”的系统。

没错。

我认为更广泛地说，这其实是科学方法的基础：你提出一个实验，实施运行该实验所需的一切，评估该实验，然后从中获得结果。而且我认为，现在有越来越多的问题可以通过这种方式实现——即整个运行循环，不仅仅是进行几个实验，而是进行成千成百个实验，因为你能够自动化这一循环，并使该循环的延迟极低，这将变得非常重要。

这将使我们能够处理科学、工程、机器学习模型设计本身，以及像芯片设计这类工程任务中的许多不同问题领域。因此，如果你能以自动化的方式完成这些工作，并拥有某种能够接收高层目标并将其分解为子问题的编排框架，而每一个子问题都可以成为一个自动化循环，探索解决该子问题的最佳方法。然后通过一个编排框架，将子问题的解决方案组合起来，形成解决更高层问题的整体方案。那将会产生巨大的影响力，而且非常重要。我认为这将使我们能够加速机器学习的进展，它将使我们能够加速科学研究，并加速工程实践。我认为这将是惊人的。

听起来太棒了。听起来在很多领域，只要你拥有非常好的评估器，并且这些领域可能接近于那些能够被形式化验证的事物，这些领域正是适合 AI 系统自我改进的沃土。

我认为在很多情况下，有时你需要大幅提升评估器的速度。举个例子，我的同事在大约十年前针对量子化学中的一些问题做过研究，当时你需要了解某个分子的特性，你可以生成某种分子构型，然后想要了解它具有哪些特性。你可以运行一个计算密集型的密度泛函理论模拟器，这可能需要整晚的计算才能为你提供单一结果。

但我同事所做的是，获取了这些模拟运行产生的大量输出数据，包括输入及分子构型以及昂贵模拟器的输出结果，然后利用这些数据训练了一个模拟器的神经近似模型。所以这现在成了一个验证装置，但它不再需要花费一整晚的时间，他们制造出的东西速度快了 300,000 倍，而且其精确度几乎与运行全规模模拟器相当。

那么，这完全改变了你进行科学研究的方式，因为现在你有 1000 万个项目需要筛选，你可以在去吃午饭的时间里完成这些工作，而不是像过去那样需要历时六个月，还要绞尽脑汁去凑齐足够的算力来运行所有这些模拟。我认为在很多领域都有很大的空间来应用更快的验证模型，甚至是基于学习的验证模型，它们可以让你更迅速地获得接近真实答案的近似值。

这改变了人们对实验循环的思考方式，也改变了这些循环的迭代速度。

有哪些领域和问题是你非常期待这种极速科学方法能够解决或实现的？具体是指哪些问题？很明显 machine learning 本身就是一个。

所以我们能否拥有一个能够通过运行大量实验来递归地自我改进的模型？如果你思考一下当今大型研究团队是如何改进模型的，通常发生的情况是，人们想到一些点子，进行一系列小规模实验，然后观察这些小规模实验的效果如何。如果是这样，他们会从中挑选出最有前景的方案进行更大规模的试验，评估结果后再将其整合进模型的新配方中。

但我认为，将这一过程转变为高度自动化的循环并没有实质性障碍。模型本身可以决定进行探索，或者在最高层人员的引导下，比如询问：“为什么不尝试一些结合了这一特性的模型架构新思路呢？”随后，它们将进行大量实验，观察哪些方案有效，并以更快的速度将其整合进来。实际上，你想要优化的是单位算力投入下的发现产出率。

太棒了。没错。回到现场，你们所有人未来某天都会成为创始人或开启职业生涯，届时你们可能会积累大量被拒绝的经历。这一定会发生。Jeff，这对你来说也发生过。有一个故事是说在 2014 年，你与 Geoffrey Hinton 和 Oriol Vinyals 合写了一篇关于知识蒸馏的论文，该技术涉及利用大型教师模型来训练规模更小、效率更高且计算成本更低、参数量更少的模型。如今，这已经成为行业内每个人都在使用的技巧。是的。而且关键在于，这篇论文在 NeurIPS 被拒稿了。没错。确实是这样。

我认为不能全怪程序委员会，因为很多时候，一篇论文会收到三份评审意见，其中可能会有一位审稿人看一眼就下结论。在这种情况下，他们说，这不太可能产生重大影响。

不太可能产生重大影响。

但我认为当我们撰写这篇论文时，我们实际上意识到这是一个极其重要的问题，因为我们知道，从大规模模型中构建更廉价、高性能的模型是我们迫切想要实现的目标，因为我们希望在语音或视觉等众多不同领域为越来越多的人提供模型服务。

但是，有时审稿人可能缺乏那种经验，因为他们考虑的可能不是大规模 AI 服务，而是关注这是否属于基础性突破。

所以，它偶尔会被拒稿，这没关系。我们把它发布在 arXiv 上，人们阅读它，使用它，这就很好。而且我们确实在制作 flash 模型时使用了它，例如，利用我们更大规模的 pro 模型来辅助。这在一定程度上解释了为什么例如 Gemini 中的 flash 模型，在考虑其规模和速度的情况下表现得如此出色。

在同等规模的模型级别中，它们处于基准测试的最佳水平。是的。确实令人印象深刻。我认为其中的教训之一是，即使遭到拒绝，也要坚持下去。

这就是我会从中总结出的经验。

现在，我觉得有趣的是，你当年是在 1999 年加入 Google 的，当时它还是一家只有 20 人的初创公司。如果把那个时候年轻的 Jeff Dean 瞬间传送到现在这个时代，凭借你的技能，你会怎么做？我现在感觉自己精力充沛，又年轻了。你会做什么呢？你会加入一家前沿实验室，还是创办一家公司？我不知道。你会对 25 岁的 Jeff Dean 说些什么？这总是很难说。

你想把时间花在什么事情上，这是一个非常个人的选择。对我来说，一些最重要的问题是：你是否会投身于你真正关心的事情？当你投身于那项工作时？如果你能与一群乐于共事的同事一起取得进展，如果你能共同解决问题或取得突破，这是否会对世界产生某种积极的影响？

比如，你是否能突然做到某件事，并提供相应的服务；也许这只是一个非常细分的领域，但它能给生物化学家或其他人带来巨大的帮助。

又或许是一个更广泛的领域，它将帮助程序员，或者帮助互联网上的所有消费者，或其他事物。你应该努力去做的，是对世界产生积极的影响。与你乐于共事的人一起工作，努力奋斗并尽你所能。

所以，就你提到的那种权衡而言，比如加入一家 Frontier Lab，还是说和一两三个亲密朋友一起创业。我认为这是两种不同的体验，在一家规模较大、成熟的机构里，你会拥有一定的组织架构。你会有许许多多优秀的同事，他们掌握着许多你所不知道的知识。你会有很多可以钻研的有趣问题。而且你已经拥有了一个可以通过你的工作产生影响力的平台。这已经可以影响世界上许许多多的人了。

而作为一家规模极小的初创公司，你需要有自己充满激情的事业，并且在以那种方式去解决特定问题以求成功并发展一项事业的过程中，存在着巨大的风险。但我想，这同样也会带来极大的成就感。所以我认为，这确实取决于个人喜好，但至少无论你选择哪条道路，都要问问自己：如果你致力于解决这个问题，并且取得了最好的结果，那么世界会在某种程度上变得更好吗？还是说人们会觉得，嗯，这还挺酷的，但也就那样吧。那就不应该是你应该投入时间去做的事情。

现在让我们多谈谈第二条路径，即在一个小团队中与你真正喜欢的人共事。你一直以来都能够成为许多工程师出色的导师 and 管理者，并且你已经能够构建出庞大的系统。对于在座的各位来说，如何获得最大的收获，以及如何与聪明人共事或寻找聪明人，有哪些经验之谈？

你总是希望找到在某些领域具备真正过硬技能的人，而这些技能是你正试图组建的团队所需要的，无论是在公司内部还是在创业过程中。但你同时也希望找到那些让你乐于共处的人，因为你将花费大量时间与这些人在一起，共同攻克非常棘手的难题。你需要那些自我意识不强、具有团队协作精神，并且（或许）拥有与你互补技能的人。

我总觉得在小型团队中工作非常有意思，团队成员掌握着我所不具备的知识，而我也拥有他们相对欠缺的一些技能。你们共同构建或研究出的成果，或许是你们单打独斗无法实现的，但在合作过程中，每个人都能获取大量新知识、习得新技能。你应当将自己的工程或研究生涯视作一个不断充实技术工具箱的过程。你要始终致力于向这个工具箱中添加新工具，因为你永远不知道什么时候会遇到一个需要用到四种专业工具，而非三种的问题。增加更多的工具，会让你在未来更有可能解决所遇到的难题。

最后一个问题，我相信在场的某位或几位同学，最终会做出像你在 MapReduce、TPU、distillation 等领域所做出的那样具有深远影响的成果。你希望他们致力于解决什么样的问题？

我认为世界上还有许多值得探索的有趣问题。我简单列举几个。这并非详尽无遗，因为世界广阔且充满了问题。我对硬件方面的新方法尤为兴奋。我们还没有。之前的思想实验在某种程度上指出了这一点，或者说指向了更高效的推理硬件。我认为存在着本质上完全不同的机器学习算法，它们可能比我们今天使用的方法在数据利用率上要高效得多。

如果你考虑一下我们今天的大规模模型，它们接触到的数据量大约是人类在 18 岁之前接触数据量的 1000 倍。然而，人类在 18 岁时在很多方面表现得更好，并且在某些方面与那些接触了海量数据的前沿模型不相上下。那么，我们能否设计出数据效率高得多，并且能够持续学习、从自身行为中进行学习的系统呢？持续学习是一个非常值得关注的方向。

我认为多智能体交互是一件很有趣的事情。我认为，创造一些能够促进全球人们之间进行更好交流的方式可能会很有趣。是否有什么方法能让对话变得更加文明，并帮助人们基于共同兴趣结识世界各地他们应当认识的人？我认为这些都是非常有趣的事情。世界上有很多很酷的事物，我们都应该努力去创造更多更酷的事情。

这听起来太棒了，非常感谢你 Jeff Dean。我们今天的节目就到这里，谢谢你，很感激，谢谢大家。