罗布： 我们知道推理（inference）将是世界上最大的市场。谁能生产最多的 Token，谁就将成为世界上最有价值的公司。在这个过程中，甚至有一些人选择离职。
加文： 是的。
罗布： 那些人当时真的觉得：“这个问题是无解的，祝你们好运，伙计们。”
加文： 说实话，加入我们公司的人，脑子得有点不正常才行。你要说服家人搬到圣何塞，加入一家由两个——怎么说呢，现在也才 24 岁的小伙子创办的半导体公司，去对抗世界上最庞大的巨头。而且我们的设计方案不是只提升 10%，而是要提升整整 10 倍。我们需要 1 亿美元来实现这个目标。如果我们做成了，我们认为这可能会成为有史以来最重要的公司之一。
罗布： 身处那个时刻，你会想，天哪，我们根本负担不起这个成本。我甚至开始琢磨：哎，重新回哈佛上学有多难？
引言
帕特里克： 好了，两位绅士。加文，距离我们上次做这个访谈已经过去大约三年了，这真是不可思议。当时，我完全被你的故事以及你们打算建造的东西吸引了。那时我对芯片了解不多，正在考虑是否投资这家公司。因此，我给我能想到的所有人打电话，希望能听到一些意见或看法。而在那个时候，业界的共识基本上是：这类公司不是年轻人能办起来的。半导体界最好的公司都是由四五十岁的人创办的，他们拥有完整职业生涯的丰富经验，了解所有可能遇到的问题，并且主导发布过数颗芯片。两个 21 岁的小伙子是不可能做成的，这根本行不通。这代表了当时的一个主题——没有人相信我们。当然，现在情况大不一样了。你只需走在公司的走廊里，和那些选择来到这里工作的人聊聊就知道了。但在创业初期，这确实是你们必须去面对的现实。去面对那些行业巨头、整个产业的人、投资人以及其他所有人都不相信你们的境况，那是一种怎样的体验？这种不被信任的经历又是如何磨砺你们，让你们以如今这种方式去建立这家公司的？这带来了什么影响？
天真与求真：以第一性原理向行业陈旧约束发起挑战
加文： 我想，要想认为自己能制造出一颗比以往任何 AI 芯片都更好的芯片，并以有史以来最快的速度建立起一家公司来实现它，确实需要一定程度的“天真”。而我们恰恰拥有这种天真。很多时候我们会问：“为什么这不可能？”然后刨根问底。结果发现，所有人的答案都被极度局限在了一组早已不再适用的陈旧约束条件中。现实情况是，整个半导体和数据中心行业都建立在“过度设计与冗余留量”之上。我的意思是，从 EDA 工具、电源模块、电路板，到芯片设计和标准单元，这个栈的每一个环节都是为了“通用性”而设计的，不仅要适用于数据中心，还要适用于物联网（IoT）、边缘计算等。而当你有一个非常明确的特定应用场景并针对其进行设计时，你就可以极大地改变这些约束条件。
我来举一个非常简单的例子（我们并不是唯一这么做的）：在芯片设计中，你非常关心的一个指标就是芯片的主频，它与系统的吞吐量成正比。在进行芯片流片前的时序收敛 (signoff) 时，你需要确定芯片实际能运行在什么主频上。这里有一个概念叫做“工艺角 (corners)”，也就是说，在什么温度下芯片能够保证在这个主频下运行。很多 EDA 工具的默认配置都假设你的芯片会在极寒的冰冻温度下运行。我不知道你见没见过，但我还从来没见过里面有冰块的 AI 数据中心。所以，我们完全可以非常确信地认为，我们的芯片不需要在摄氏 0 度时还能全速运转。事实上，它们在运行时的温度基本上永远不会低于摄氏 80 度。仅仅通过明确这一项不重要的约束条件，我们就可以对整个系统做出大量的改动。这只是一个非常简单的例子，类似的情况还有很多：这里省下 20%，那里省下 50%，另一处提升 2 倍，这些优势累积起来，就会让整个系统在推理任务上产生彻底的、颠覆性的提升。
罗布： 是的，我认为你会遇到两类人。第一类人完全凭经验（heuristics）做判断。他们会想：好吧，几个年轻的创始人，居然声称在性能上能击败世界上最庞大的巨头，这绝对不可能发生，你说什么都无法动摇我的想法。但也有另一类人，他们虽然同样心存怀疑，但愿意说：“我愿意花时间去研究，做一下功课，看看这到底有没有可能。”
比如我们最早期的支持者之一马克·罗斯（Mark Ross）。马克是一位享誉业界的半导体专家，曾任 赛普拉斯半导体公司（Cypress Semiconductor，后以 90 亿美元的价格被收购）的首席技术官（CTO）。我们第一次见他时，我们还只是宿舍里的几个毛头小子。我们去找他，说：“嘿，我们想做用于推理的硬件，我们觉得我们可以比英伟达快得多。”马克当时说：“不，你们做不到，这行不通。”
但他又说，如果我们要说服他，就必须写一份白皮书，并且建立一个功能性仿真模型展示给他看。于是在度过了许多个不眠之夜后，我们拿着仿真模型回去找马克：“嘿，仿真模型做好了，你觉得怎么样？”他看了看，说：“哈，这还真的能跑通。”但他接着说，要创办这样一家公司，需要庞大的资金，至少需要 300 万美元才能起步。结果我们最终融到了 500 万美元，之后又融了更多。他又一次感到惊讶，但随后更深地参与了进来。随着他看到越来越多的研发进展，他先是成为顾问，然后是兼职顾问，最后成为了我们的全职 CTO。
我认为，在这个过程中我们进行了一层很强的筛选：筛选出了那些无论如何都只想证明自己正确的人，以及那些真正探求真理（truth-seeking）的人——后者会说：“好吧，我虽然怀疑，但我会亲自去推算一下数据。如果我能想明白为什么这可行，那我们就动手干吧。”
芯片即系统：Sohu 芯片的 Prefill-Decode 分离与低电压推理革命
帕特里克： 你们所押注的具体方向，以及你们构建这个系统的方式，对我来说都极具吸引力。现在有非常多的人都在尝试这件事情，也就是构建全新的芯片，以便以极大规模提供推理服务。因此，全世界都在关注人们在构建新型 AI 芯片时所采用的研究路径和不同的架构方案。我希望你们能先介绍一下这件东西到底是什么，它是如何工作的；但更关键、也更有趣的是，你们是如何决定押注哪些方向、发明哪些技术的？并且请将你们的做法与你们所看到的市场上其他团队的尝试进行一下对比。
加文： 是的，我认为我们需要从“产品”开始谈起。我们不仅仅是在制造一颗芯片，而是在构建一个完整的推理解决方案。这意味着我们要设计整机柜（rack）、芯片、供电系统、载板，以及芯片之间用于相互通信的互联（interconnect）技术。这意味着要为这种大规模机柜的量产做好准备——实际上，量产本身就是产品。
在思考我们的优势来源时，推理运行包含两个关键部分：Prefill（首词预填充）和 Decode（后续生成）。针对这两个阶段，我们有两项核心技术策略。Prefill 是读入海量的文本，而 Decode 则是使用这些数据来生成输出 Token。在运行 Prefill 时，你的核心任务其实并不是去预测 Token，因为你已经知道了输入文本，你的任务是将模型的记忆——
罗布： 是的，也就是我们所说的 KV 缓存 (KV cache)，加载到正确的状态。
加文： 然后，你就可以用同一个 KV 缓存去运行 Decode。所以，我们通常采用的方案被称为 PD 分离（Prefill-Decode Disaggregation）——即将 Prefill 与 Decode 进行解耦。你可以把这些模型记忆（即 KV 缓存）传输到 Decode 集群，然后使用该集群来生成后续的 Token。
帕特里克： 所以用超级简单的话来理解，这有点像“子弹上膛”然后“开枪射击”。
加文： 没错，就是这样。让模型记住该记住的东西，然后利用这些记忆去执行任务。
通常人们对这个市场的思考有点流于表面，或者说有点懒惰，他们会问：“你们是做 Prefill 芯片，还是做 Decode 芯片？如果是 Decode 芯片，你们是基于 HBM 还是 SRAM，或者是 3D RAM 的芯片？你们是用光通信（optics）还是用铜线（copper）连接？”当我们开始做这件事情时，我们只是想搞清楚为什么那些极其聪明的人会朝着这些不同的方向去探索。我们认真研究过各种架构，比如使用大量的 DDR 内存并构建共享内存池，以及通过先进封装来突破芯片边缘接口的带宽限制（shoreline）。我们也探讨过诸如将内存芯片（memory dies）堆叠在计算芯片（compute dies）之上的可行性。在这个过程中，我们意识到天下没有免费的午餐，任何方案都有其权衡取舍。比如 3D RAM，你会面临散热问题、供应链问题，还需要解决混合键合技术和算力开销。
在对 Prefill 和 Decode 端的各种技术路线进行全面梳理后，我们意识到，有几个设计空间是之前从未有人认真探索过的，因为这些做法在以前的 AI 芯片中从未被采用。我们问自己，真正最重要的指标是什么？在 Prefill 端，最关键的是算力 (FLOPS) 和算力密度。人们经常把 FLOPS 当作主打宣传数字，但实际上，你更应该关注的是在运行真实工作负载时实际获得的算力。这里有一个概念叫模型算力利用率（MFU, Model Flops Utilization），即对于宣传的每一个峰值算力，你实际上能发挥出多少。在 GPU 上，根据工作负载的不同，你通常只能获得 20% 到 50% 的利用率。而且在物理规律上，你是无法让芯片运行在 100% 的，因为存在散热问题——随着算力利用率的提高，开启和关闭的晶体管变多，功耗大幅增加，芯片就会进行自我调节，主动降低主频以防止过热。在我们研究推理任务时，我们意识到，如果我们想要高得多的算力以实现更高的吞吐量，我们必须在考虑给芯片堆砌算力之前，从根本上解决散热问题。如果我现在只是盲目地往 GPU 或其他 AI 芯片里塞进更多算力，我根本无法获得更多性能，因为芯片很快就会因过热而降频（thermal throttle）。
从根本上说，其核心在于“登纳德缩放定律 (Dennard scaling)”，即功耗与电压的平方成正比。因此，如果我将电压翻倍，功耗就会增加到 4 倍；如果我将电压减半，功耗就会降至原来的四分之一。于是我们问自己，我们该如何以低于 GPU 的电压来运行芯片？为此我们交流了很多人。退学后我们飞往硅谷，向各大芯片公司的数十位半导体从业人员请教他们是怎么做的。而得到的回答几乎都是：你们做不到，你们无法以低于 GPU 的电压来运行芯片。这个答案非常令人沮丧，因为明明有许多其他行业的芯片运行电压都低于 GPU。比如，比特币矿机芯片的运行电压就不到 GPU 的四分之一。所以，这在物理上显然是完全可行的。问题在于，GPU 架构中是否存在某些缺陷，导致其无法在这些电压下工作？在对这个问题进行了长期研究后，我们成功开发出了一种在更低电压下运行的新机制，以及一种全新的供电方式，我们称之为“低电压推理”（low-voltage inference）。我们相信，未来的所有 AI 芯片都将是低电压芯片。它们必须在相同的硅片面积上塞入多得多的算力，并且在不发生过热降频的情况下，以极低的电压运行。这其实很简单。
对于 Decode（生成阶段）而言，这完全是一场内存游戏。由于这个阶段更受限于内存带宽（memory-bound），你能更快地加载模型、更快地加载 KV 缓存，从而为每个用户每秒提供更多的 Token。我们认为人们在这里问错了问题。大家经常问：“你的芯片上有多少内存带宽？”但你真正应该问的是：“在你的整套 Scale-up（垂直扩展）集群中，有多少内存带宽？”我们所做的是，通过我们的互联技术，极大地增加芯片与芯片之间的带宽，并显著降低其延迟。这使我们能够以极高的速度来运行模型，因为你可以将整个 Scale-up 集群中的 SRAM 和 HBM 当作一个统一的内存池来使用。这就是我们的第二个关键技术押注，我们称之为“集群级内存”（cluster-scale memory）。在如今的 GPU 上，集群内存带宽的利用率往往非常低，因为从一个 GPU 跳转到另一个 GPU 的时间非常长。例如，在 Blackwell 芯片上，进行芯片间的点对点通信可能需要大约 4000 纳秒。这意味着，如果你采用 8 路张量并行（8x Tensor Parallelism，简称 TP）的配置，你所获得的每个用户每秒 Token 数量的提升将远低于 8 倍。
而我们所做的是构建了我们自己完全定制的互联技术栈。我们将以太网第二层（物理链路层）以上的一切进行了完全的定制开发，以此实现了好得多的延迟和带宽。我们可以将延迟降低 5 倍以上，这使我们能够更高效地利用其他芯片的内存。随着你扩大分布式计算的规模（world size），每个 Token 的生成时间会按比例下降。考虑到所有这些架构都是在 ChatGPT 诞生之前设计的，这其实并不令人意外。因此，如果我们想为现代工作负载设计一款芯片，它的架构必须完全不同。我们组织算力（flops）的方式、设计电压域的方式、电力传输层（power planes）的设计都会截然不同。封装方式会完全不同，电路板设计也会不同。而在解码（decode）端，我们的连接方式也会完全不同。目前，我们正在推出第一代这种低电压推理（inference）技术，其运行电压不到其他任何 AI 芯片的一半。
帕特里克： 如果我们把视线彻底拉远，为什么这件事如此重要？为什么提供高得多的吞吐量、低得多的单 Token 成本、更好的每瓦 Token 效率等指标会如此关键？整个行业正在越来越多地讨论这些指标。大家都知道，目前算力的供给侧是一个巨大的问题。那么，如果从未来十年的更宏大图景来看，为什么这会成为科技世界的瓶颈？
罗布： 我认为这归根结底关系到生产力。我们正处于人类文明史上一个极其有趣的时刻，我们拥有了真正的通用人工智能（AI）——不是科幻小说里的东西，而是这些模型能够解决大多数人类无法解决的问题。它将推动新的科学发现，让人们能够即时获得医疗服务和教育资源。现在的问题就在于：能有多少人同时使用它？有多少产品能同时提供这样的服务？
另外还有完成不同任务的速度。当你考虑到实际消耗的时间时，如果我们有一个运行在特定模型质量下的 Agent，使用推理时计算可能需要一年的时间才能解决某个任务；但如果你拥有快得多的解码速度，你就可以把这个过程压缩到一个月内。因此，科学创新的速度以及技术普及的速度都会大大加快。
第二部分是并发（concurrency）。在今天，让十亿人并发使用这些模型是根本无法实现的。最终，一些人不得不面临降级——
加文： 服务降级。一些人的模型会变慢，一些人则根本无法获得硬件资源。几年后，将会有服务数十亿用户的巨型模型。我们目前还处于 AI 发展的极早期阶段，全球只有几百万人购买了 AI 模型的付费套餐。也就是说，全球只有千分之一的人口在实际使用这些工具。
因此，如果你想要服务庞大的规模，很多事情都会发生改变。其中之一就是芯片之间相互通信的数量。人们通常是在模型训练的背景下思考这个问题的——比如构建庞大的训练集群。像 Colossus 拥有超过 10 万张 GPU 互联进行训练。但在推理端，今天人们通常认为它只是一个 8 芯片集群，或者最多是将 NVL72 作为纵向扩展（scale-up）域的极限，但很快推理集群就会发展到成千上万甚至数万张芯片。
在那种情况下，要想获得最高的性能，芯片之间传输数据的时间——这个底层通信机制（primitive）的重要性，远超它目前所获得的关注。因此，当我们考虑优化系统的内存带宽时，必须考虑这些芯片之间通信的速度。因为如果它们只在芯片内部通信极快，而与其他芯片通信极慢，你就无法真正以每秒 10,000 或 20,000 个 Token 的速度去运行超大型模型。
因此，我们需要在从晶圆到瓦特、从晶体管到 Token 的整个硬件栈中，实现多个数量级的算力基础设施建设，才能真正将这些技术带给世界。如果看其他大多数商品，比如 iPhone，它们已经实现了规模经济。这导致更多的钱也买不到更好的 iPhone，无论你是亿万富翁，还是普通的美国人，你们买到的都是同一款手机。但 Token 现在还不是这样。我们仍处于极早期阶段，一个通用系统的规模相对较小，还在以类似于文艺复兴时期手工制作螺丝的方式来“手工制作”这些 Token。我希望生活在这样一个世界：制作 Token 也能拥有像制造 iPhone、汽车或其他任何产品一样的规模经济。
罗布： 我认为这是实现巨大解放的关键之一，它能让庞大的人群用上最高质量的模型。我认为规模经济让资本主义变得——怎么说呢，非常公平。它能让同一个产品普及到许许多多不同的人手中，而且你能够在单个扩展集群上服务多得多的用户，这让 Token 服务也能够更接近这一状态。
加文： 是的。而且如果速度太慢，某些产品根本就无法使用。如果想提供代码模型服务，并希望人们能够真正使用它们，你就必须达到特定的每秒 Token 数量。所以问题在于，在保持这种单 Token 生成速度的同时，我们能同时服务多少用户？你基本上只能在两个选项中做抉择：要么将世界上大部分人拒之门外，要么让所有人都获得更糟糕的体验。因此，从根本上说，你必须想办法突破这条效率曲线，这就是为什么新硬件开发面临如此大压力的原因。
创始初心：四期骨癌的奇迹存活与 AI 改变世界的灵感时刻
帕特里克： 我想花点时间退一步，听听你们两位是如何想到这个点子并创立这家公司的，然后聊聊公司的构建历程。因为我认为通过这种方式，我们能理解你们为公司本身建立的体系，这套体系将能够为后续几代此类产品提供动力，以应对我们正在面临的这个疯狂的推理未来。罗布，也许先从你开始，你可以想说多远就说多远。但我好奇的是，你们两位中我最先听到的，其实是你多年前的个人故事，当时这真的让我深受震撼。我最感兴趣的是，支撑你最终站在这里做这件事情的底层动力是什么。
罗布： 这其实要从我的高中时代说起。在人生的不同节点，我经历过极其不幸的时刻，也体验过极其幸运的时刻。高中那次是比较艰难的时期之一。在高中二年级结束时，我在一次武术比赛中受伤了。第二天，不知什么原因我突然无法行走。医生起初以为是我的骶髂关节（SI joint）出了问题。我做了物理治疗，做了各种扫描，但他们都没能查出原因。
后来，他们在一次核磁共振（MRI）中发现我背部有一个很大的肿块，并告诉我那是一个肿瘤。我被诊断出患有四期骨癌，医生告诉我生存概率不足 30%。那是一段长达两年的疯狂体验：化疗、手术、重新学习走路。当你经历过那样的事情后，它真的会彻底改变你对人生经历的认知（Overton window），让你懂得什么才是真正重要的。你也会问自己：如果有机会活下去，你打算做些什么？如果你真的想挺过那样的一关，你必须心怀希望。我一直清楚，如果有机会活下来，我想要做一些非常有影响力的事情。我花了几年的时间才搞清楚具体要做什么。
与此同时，当我步入大学，遇到了一群构建酷炫科技的人，我对 AI 模型产生了极大的兴趣，特别是在 GPT-3 发布之后。我当时觉得，哇，这是第一个能说英语的模型，这些东西未来会变得非常聪明。后来 GPT-4 发布了，其中包含了 GPT-4V，这是第一个支持图片上传的模型。我翻看手机相册，找到了在我确诊之前拍的背部肿块的照片。我把照片传上去说：‘嘿，ChatGPT，假装你是一位资深的医生。一个病人进来了，说他背上有这个肿块，这可能是什么？’
它立刻回复说：‘这可能是一个肿瘤。你应该立即去做核磁共振（MRI）。快去看医生。’我当时就呆坐在那里，这太震撼了。
帕特里克： 而你当时确诊却花了六个月时间。
罗布： 是的，这花了我六个月的时间。而且要知道，昨天这个功能还不存在，今天它就在这里了。我跑去把这个演示给我的父母看，结果收到了一条通知说：‘您今天的图片额度已用完，请升级至 Pro 计划。’我当时心里想，我的天哪，这将会改变一切。显而易见，我们没有足够的基础设施来支撑这一技术，而在为世界加速普及这项技术的过程中，可供我们去努力的核心环节其实非常少。我的意思是，有非常多聪明绝顶的人在做模型研究，晶圆厂（fabs）对我们来说可能有些遥不可及，但所有的硬件似乎都是在 ChatGPT 诞生前设计的。服务于这些模型的每一个 GPU、每一个 TPU、每一个 AI 芯片，在底层架构上都是在此之前设计出来的，只是被拼凑（retrofit）来运行这些现代模型。
市场上必将出现一整波全新的架构设计。有什么能比把这项技术带给每一个人更让人兴奋的事情呢？
与此同时，我也从一个完全不同的角度看到了机会。当时我正在运营一个名为 Prod 的创业孵化器，它孵化了许多不同的公司。其中最早的一些公司包括 Cursor（AI 代码编辑器）及其背后的开发商 Anysphere（它们后来合为一体了），以及 Mercor（AI 招聘与技术技能评估平台），Etched 也参与了其中，还有其他几家公司。在 2022 年，随着这些模型变得越来越聪明，我意识到所有这些公司都在把他们筹集到的资金全部花在算力（compute）上。在自己做一些项目的过程中，我也意识到：我的天哪，我想构建的所有产品，每年仅推理成本就将高达数千万美元。这根本是不可持续的。
这改变了每家软件公司的成本结构，销售成本（COGS）不再是边际为零，而是会变得非常高，并且将直接取决于推理量。随着人们越来越多地使用编程 Agent 等工具，每家企业的运营成本（opex）也将由推理成本主导。因此，从根本上说，推理将变得极其重要。感觉我们正处于推理在未来十年成为全球最大市场进程中的历史性节点。所以，当你展望十年后，将会出现许多巨型项目——而那个数据中心里的一切，在今天其实根本还没有被从底层设计好。于是我们觉得，应该挑选一个方向切入并开始动手。这就是我们创业的起步阶段。
机器人竞技场与内核开发：从 17 岁内核程序员到 FTC 世界纪录
帕特里克： 加文，我非常期待你能带我们回到你的高中时代，甚至更早的时候，跟我们分享一下在你成长轨迹中，有哪些关键的节点最终促使你决定从哈佛退学并创立了这家公司？
加文： 我的第一份工作是在一家名为 Xnor.ai（译者注：原音误作 Exnord）的公司做内核开发，那时我只有 17 岁。因为 17 岁的未成年人无法签署具有法律约束力的正式合同，所以他们没有和我签传统的保密协议，而是直接让我坐下，对我说：‘加文，别把这些信息泄露出去就行。’ Xnor.ai 是少数几家认为‘这笔交易很划算’并愿意录用我的公司之一。于是，我开始着手开发内核，之后我也在其他几家公司做过类似的工作。后来，Xnor.ai 被苹果以 2 亿美元收购了。之后，我在 OctoML（译者注：原音误作 Octo）也做了同样的工作，这家公司后来被英伟达（NVIDIA）以数亿美元收购。在做这些内核级工作的过程中，我意识到，其中的数学计算其实相对简单。
但要想实现高速解码，最核心的关键在于数据传输。你所做的大部分工作，实际上都是在优化如何在一个芯片内部或者多个芯片之间移动数据。这正是我们着手构建这种集群级内存技术的原因。我们将互联延迟降低了非常多，使得数据可以进行更频繁的传输，从而大幅缩短生成每个后续 Token 的时间，并构建出罗布刚才所说的那些令人惊叹的系统——在未来，可以在一个月内完成过去需要一整年甚至更长时间才能做完的工作。
帕特里克： 你能谈谈你在高中参加并获胜的一些机器人竞赛中，所展现出的那种好胜心和竞争驱动力吗？
加文： 我们确实参加过几次。例如，我当时非常积极地参与 美国 FTC 机器人挑战赛（First Tech Challenge，简称 FTC），并且很幸运地拥有一个非常有才华的搭档桑福德（Sanford）。很长一段时间里，我们都属于传统的学校代表队，通常有大约 20 人一起协作，这也是 FTC 竞赛中的常见形式。比赛的目标是建造一个能获得最高分的机器人，同时还有其他一些要求。FTC 非常强调与其他团队的合作、完善的项目文档，以及激励其他人参与其中。但桑福德和我决定，我们不想走这套路线，我们就是奔着赢去的。所以除了建造一个能拿最高分的机器人，我们什么其他事情都不干。
帕特里克： 作为一支两人团队？
加文： 是的，而不是 20 人的大团队。我们的规模比比赛中的几乎所有其他团队都要小得多。我们心想，如果我们走极度专业化的路线，专注于打赢这场比赛，那么我们就不需要依靠文档质量或社区推广来晋级——我们直接用比分击败对手就行了。
事实上我们也做到了。我们脱离了原本的团队，组建了这支两人小队，并决定每三个月将机器人重新设计一次。我们也确实是这么做的。在比赛的某个阶段，我们甚至创下了全球最高得分的世界纪录。根据 OPR（进攻实力评级，Offensive Power Rating）的评估，我们在软件开发方面排名全球第三，那真是一台极好的机器。
帕特里克： 从那段经历中，我们可以提炼出什么类比，来对照你们如今构建 Etch 这家公司的方式？
加文： 当我们思考如何打造一个像这样完整的机架级（Rack-scale）产品时，有几个核心理念。其中之一就是速度、速度，还是速度。赢得竞争的关键在于快速交付产品。你不可能靠最好的公关或沟通来取胜，你只能靠最好的产品来取胜。
帕特里克： 所以你们选择不做任何公开沟通和宣传。我这才意识到，这和你们当年做机器人比赛的方式简直一模一样。
罗布： 在商业上有很多种取胜的方式，但我们更愿意专注于制造出最棒的产品。
加文： 同样地，我们认为可以用极少的人手来做到这一点。如果你愿意把全部精力聚焦在产品上，心无旁骛地做开发，并且无情地把研发流程并行化，那么你根本不需要像大公司那样雇佣两万多人。用极少的人力，你同样能打造出世界上最棒的产品。
常言道，‘最好的零件就是没有零件。’对我们来说，‘最好的供应商就是没有供应商。’我们希望尽可能对整个产品进行垂直整合，这不仅能带来更强的性能，还能让我们行动得更快。从芯片、电路板、冷板（Cold Plate）、互联技术，甚至是生产制造，我们都希望尽可能在公司内部自主完成。我想我们目前是唯一一家既自己做芯片又自己做整机柜的初创公司，而且这两件事是同时进行的。
两年前我们最后一次公开露面时，才刚开始组建整机柜团队。我们挖来了布莱恩·洛勒（Brian Loiler，译者注：原音误作 Brian Lerer），他曾主导开发了英伟达 (NVIDIA) 所有的 HGX 和 DGX 系统——这部分业务贡献了英伟达大约 80% 的营收。我们对他说，我们要在研发芯片的同时把整机柜也造出来。事实上，在芯片从台积电 (TSMC) 制造完成并送回之前，我们的机架就已经迭代了好几个版本。在芯片回来前，我们甚至制作了‘发热模拟芯片’，使其散热热点与我们预期中的真实芯片完全一致。这样我们就能据此制造冷板，并对它们进行超压测试，甚至故意把它们炸开来测试极限。正因为我们提前完成了验证，当真实芯片流片回来并装上冷板后，我们没有发生过一次冷却液泄漏事故。
我们在中国台湾有一家工厂，那里有几十名员工。同时我们也在办公室里复制了一整套测试站。在我们办公室这一层，就有一个 2 兆瓦（MW）的数据中心。我们实行 24 小时全天候的开发周期，大家轮流值白班和夜班，以最快的速度让硬件运转起来。正是这种极端的垂直整合和项目进度的极端并行化，才让我们能够以远超常人的速度将产品推向市场。
招聘秘笈：传奇大佬与有傲骨的天才紧密搭档
帕特里克： 回想你们最初组建团队的经历，作为两个年轻的创始人，这确实需要付出很多。现在外面有很多非常有才华的年轻创业者，这可能是很长一段时间以来首次出现如此规模和体量的年轻创业潮，他们或许都能从你们的经验中获益。比如，如何去说服那些曾在其他顶尖大公司工作过、极其资深且才华横溢的人才加入你们？如果要把这门课作为一门课程来教，主题是‘年轻、缺乏经验且天真时，如何吸引精英人才’，那么你的课程大纲会写些什么？
罗布： 我们拥有一套非常‘双峰分布’（Bimodal，译者注：原文误作 biodal）的人才理念。首先是所谓的‘传奇人物’（Legends）。当我们试图解决一个极具挑战性的技术难题，或者做一些前所未有的突破时，我们需要找到这个领域全球最顶尖的人。而世界第一和第十、甚至第一百之间，存在着巨大的差距，这直接决定了问题最终能否被攻克。
为此，我们建立了一套被称为‘基于项目招聘’（Project-based Recruiting）的系统。我们会梳理出所有行业中人们曾面对过的最棘手的技术难题，并研究其时间线。究竟是谁完成了从 0 到 1 的突破？谁是那个名义上或实际上真正动手干活的负责人？我们会尽可能多地去和这些人交流，并持续跟进。
你会发现，在第一次交谈后就答应加入的人少之又少；但令人惊讶的是，在沟通了 20 次之后说‘好’的人比例高得离谱。你必须保持耐心与韧性，持续与他们接触。当你从一位世界顶尖人才那里听到‘不’时，这其实意味着：‘等你们实现了更多里程碑、证明了自己之后，你再来找我吧。’
帕特里克： 是的。
罗布： 我认为最能说服他们的一点，就是我们吹过的牛，最终都一个个实现了。当我们一次又一次兑现那些看似狂妄的承诺时，这会建立起极强的信任感。
当我们决定不仅仅是做一颗芯片，还要做整机柜时，我们开始研究市场上到底有多少已经规模化交付的机架级系统，能够达到我们所要求的功率密度。我们想，如果能挥动魔法棒，那么世界上最合适的人选应该是什么样子的？我们得出的结论是：如果能找到一个在英伟达起步阶段就加入、带队开发了历代整机柜系统、积累了丰富经验，但同时依然保持着创业激情、理解初创公司文化且亲历过规模化扩张的人，那就是完美的人选。
于是，我们梳理了英伟达所有与机架级产品相关的团队，找到了三个符合条件的人。在沟通之后，我们得知其中两个已经退休，而另外一个本打算在英伟达再带完一代产品的研发后就退休，他的名字叫布莱恩（Brian）。经过一段时间的沟通，我们最终说服了他加入。布莱恩在英伟达创立了 HGX 和 DGX 团队，这两个项目贡献了英伟达的绝大部分营收，每个季度高达数百亿美元。顺便提一句，另外两位没加入的候选人最终成为了我们的投资人。
当你拥有像他这样的人才时，他们非常清楚‘什么是真正优秀的产品’，因为他们亲眼见证过。很多次我们在和布莱恩交流时，他会指着某个设计对我们说：‘这是我交过十亿美元学费才学到的教训’，这让我们少走了无数弯路。然后，你再把布莱恩这样的人和桑福德这样的人放在一起搭档。
帕特里克： 你们给他们这组搭档起了什么特别的称呼吗？布莱恩是‘传奇’，那桑福德是什么？
加文： 我们常说，‘带着傲骨和证明自己的决心（Chips on shoulders，译者注：双关语，比喻憋着一口气想证明自己的人）的人，才能把芯片（Chips）送进数据中心。’
罗布： 是的。加文和桑福德在高中时曾是世界机器人大赛的冠军。几年前，当桑福德（译者注：原音误作 Stanford）大四即将毕业时，我们给他打了个电话说：‘嘿，能来看看我们在做的事情吗？我们在平台开发方面需要一些帮助。’
他过来待了一周，我们问他：‘你这周能把冷板（Cold Plate）做出来吗？’如果你去问任何一位热力学工程师，他们都会觉得你太天真了。因为做这个通常需要几个月的时间——客观来说，确实需要那么久。但如果你下定决心，并且相信这是可能的，你确实可以在一周内取得实质性的进展。他真的在一周内造出了一台装置，实际上帮我们化解了一个非常关键的功耗风险。
当你把布莱恩和桑福德这两种人放在一起时，他们创造了令人难以置信的成果。这两种人缺一不可，因为你既需要那些极度渴望成功、不断追问‘为什么’、因为没有历史包袱和陈规禁忌（译者注：原文‘don't know where the bodies are buried’，意为不知道过去的规矩与局限）而敢于冒极大风险的人，同时也需要经历过规模化洗礼、但依然保持着初创公司拼搏精神的资深专家来为他们保驾护航。这就是‘传奇人物’与‘充满冲劲、天真但笃信第一性原理的天才’的结合。而且这不仅仅是把两种人招进同一家公司，关键是让他们紧密地协同工作。
加文： 没错。
帕特里克： 如果我们来看这个人才漏斗，关于你们在招聘上面变得多么擅长，以及为什么这些招聘指标能持续提升，还有什么值得分享的有趣点吗？令人惊讶的是，像你们这样一种极具逆向投资（Contrarian）色彩的赌注，本身是不是就起到了自动筛选的作用？
罗布： 确实如此。如果你是那种投机取巧、只想加入热门公司（Hot Company，译者注：原音误作 hawk company），而不是真正去做深入尽职调查（Due Diligence，译者注：原音误作 deep digence）的人，你根本不会来我们这里工作。
不过，这也是我所担心的事情之一。随着我们逐步公布更多关于产品和技术规格的信息，如果我们不够小心，我们可能会失去一部分这种独特的筛选优势。
加文： 从常理来看，你得脑子有点问题才会选择加入我们公司。在纸面上看，你可能是一个非常优秀、拿着丰厚且稳定收入的资深工程师，你在别处拿着变现容易、未来可预测的薪酬，却得说服家人搬到圣何塞，住在公司提供的员工公寓里，加入一家由两个年仅 24 岁的年轻人创办、连产品都还没做出来的半导体初创公司。这家公司不仅要与世界上最强大的巨头竞争，而且还身处有史以来供应链最紧张的环境中。更离谱的是，他们还声称自己的设计不是要提升 10%，而是要提升 10 倍。正常人绝对干不出这事，你脑子必须得有点问题才行。
但我们这里的人在思维方式上确实与众不同。他们不单单是想证明那些不相信的人是错的，更是想向那些相信我们的人证明他们是对的。他们把这当作自己的个人使命。寻找这样的人真的非常有意思，而且坦白说，我们公司的这种特质，让我们非常容易筛选掉那些不志同道合的人。
班加罗尔疯狂六月：12小时中美接力流片与极限并行化验证
帕特里克： 我和你最早谈到的一件事是…… 罗布，我刚才开始问关于 Sohoo 的问题，这是你们第一款产品的名字。你说我们可以非常详细地讨论它，但需要知道的是，我们真正专注于建立一台能够以最高质量水平、最有效率地规模化生产这些产品以及一代代迭代产品的机器。也就是说，我们希望建立一个公司，或者说把公司打造成这样一台机器，它不仅能生产当前的这款产品，还能持续生产后续的迭代产品。因此，我想讨论一下公司的几个核心原则或基石。你们刚才提到或者暗示了其中一些，比如速度，以及最近越来越热门的垂直整合。另外，并行化（parallelization）可能也是我们需要探讨的话题。但我特别感兴趣的是，你们愿意为了加快速度而承担巨大的风险。也许可以分享一下你们最喜欢的故事，来说明为什么这是你们的哲学，以及它让你们做成了哪些其他公司可能没做成的事情？
加文： 这里有很多故事，但我最喜欢的之一是，当时我们已经快要对芯片进行流片（tape out）了。我们突然意识到，糟糕，我们的一个供应商严重滞后于原定计划。当时我们只有两个非常糟糕的选择。第一个选择是继续使用现有的供应商，但要把我们的时间表推迟大约一年。第二个选择是更换供应商，一切重新开始，但同样要把时间表推迟一年。这两个选择都非常糟糕。
所以我们必须寻找第三个选择，最终的解决方案是，我们发现他们的团队都在班加罗尔（Bangalore），必须有人过去实地完成工作。于是，我们把十几位顶尖工程师送到了半个地球之外的班加罗尔，待了六个月。我也去了，我个人在班加罗尔住了四个半月。每天早晨，我们都会穿过班加罗尔疯狂拥挤的街道走向办公室。我们总是最早到的。我们开发了各种各样的工具，比如审计大量写入的代码，还构建了许多加速流程的工具，以确保我们能当场做出正确设计决策。没有 12 小时的时差往返沟通，我们可以立即做出决定。到了凌晨 1 点，我们再穿过已经空无一人的班加罗尔街道走回住处，第二天周而复始。
当时我们还有一部分团队留在美国。我们实行了 12 小时交接班的 24 小时研发循环：每天早上 8 点和晚上 8 点，大家都会上 Zoom 共享所有数据，并说：‘当我醒来时，这个任务必须完成。我们必须把这款芯片做出来。’那段日子极其紧张。与此同时，我们看到其他和我们处于相同阶段、使用相同供应商的芯片项目，最终花了好几年时间，直到今天都还没有流片。而要把产品推向市场，正是需要这种极度的紧迫感。
帕特里克： 做好这件事的关键是什么？这在很大程度上因为埃隆（马斯克）而变成了一个经典桥段——他以及其他试图模仿他的人所特有的技能，就是找出什么是最核心的制约因素（binding constraint），然后亲自全力以赴地攻坚那个环节，就像亲自去班加罗尔一样。这似乎是这家企业以及任何致力于这种垂直整合的企业的核心宗旨。做好这件事的关键是什么？对于这种具体的行动，你们学到了什么？
罗布： 对我而言，我认为这里面有两个关键的秘诀。第一，你不可能独自设计并制造出芯片，这必须是一个团队问题。你最重要的工作就是找到优秀的人与你同行，并且让他们受到启发和鼓舞，愿意去为之兴奋，去干类似这样的疯狂事情。要求大家‘嘿，伙计们，把你们的生活连根拔起，去班加罗尔待上六个月（甚至有一个人被我们提前派过去待了12个月）’，这是一个非常高的要求。这确实很艰难，但我们很幸运有为了正确目标而奋斗的团队成员。第二件大事是能够非常迅速地做出决策。最糟糕的情况之一是，当工厂或供应商在等待你做出某个决定时，项目就完全停滞在那里了。
加文： 这种情况随时都在发生，即使是在非常微小的事情上。所以要把人派过去，向他们下放大量责任，让他们自己做出合理的决策。偶尔犯错没关系，但我宁愿在绝大多数时候是正确的并立即给出答案，也不愿意每次都为了完美的回复而等待。速度决定成败。
帕特里克： 那为了加快速度而花钱呢？这种‘边做边学’（learn by doing）的事情变得非常有趣。随着科技界从纯软件再次转向更多硬件，我们在美国以前通过将生产线运往海外，基本上把这种‘边做边学’的过程全部外包了，自身只扮演‘出点子’的角色。现在这一趋势显然正在逆转，而你们已经采纳了这种‘边做边学’的方式，也就是说，你们希望身处这个迭代学习的闭环之中。
加文： 确实如此。
帕特里克： 而且这其中的一部分是愿意花钱并用资金承担风险。你能具体谈谈这一点吗？
加文： 有一句名言说‘最大的风险就是不冒风险’，这里的情况非常类似。在这个领域，每天有超过 10 亿美元的收入，其中很大一部分是推理（inference）。因此，我们每拖延一天不发货，就是在把巨大的机会拱手让人。如果能获得非常明确的投资回报率（ROI），你花钱的意愿就应该非常高。
我们有一个被称为‘预取’（pre-fetching）的概念：当你正在等待某件事完成，而你又清楚知道一旦完成之后要做什么，那么是否有办法让整个时间表并行化？例如，我们知道芯片会在某个特定日期拿回来，我们希望在芯片送达之前，把所有不需要芯片就能完成的事情全部做好。这需要花很多钱，对吧？这意味着我们想提前构建好整个软件栈。这意味着我们实际上在芯片还没做好的时候，就把不含芯片的机架运送到了客户的数据中心，并把所有的网络、CPU 和存储全部配置好，这样我们就能在芯片拿回来之前，把所有的数据中心软件全部跑通。
这也意味着，我们使用了 700 多个 FPGA，将整个满版芯片（full reticle chip）部署在 FPGA 集群上，并在芯片回来之前，在其上运行了十几种带有我们完整推理软件栈的模型。这还意味着，我们制作了一个热模拟芯片来模拟真实芯片的热特性，并在此基础上提前做好了冷板（cold plates）。这也意味着我们的整条生产线都准备就绪了，我们对电路板进行了多次版本迭代，在芯片回来之前整个产品就已经完全准备好了。
这就是提前投入能带给你的回报。有一家非常著名的 AI 芯片公司，从拿到芯片到在机架中运行推理，花了 10 个月的时间。他们向投资者公开宣布了这一点，当时这是一件非常了不起的大事。而我们只花了 40 天就做到了。因为当芯片拿回来时，一切都已经按部就班了。软件早已写好，机架早已到位，生产线早已建好。我们只需要全力以赴把所有东西组装起来。当然，你不可能发现所有问题，在过程中进行一些微调，然后就可以直接启动了。
罗布： 不过在那个特定的案例中，那只是很大一部分原因。我认为倒班制（shift）也起到了很大的作用。
加文： 噢，完全是这样。
罗布： 我们真的实行了白班和晚班。有些团队成员早上 10 点来，半夜离开。
加文： 还有些成员在半夜零点来，早上 10 点离开，24 小时轮流运转才实现了这 40 天的奇迹。
罗布： 是的。我的意思是，公司有一半以上的人都住在办公室附近，这让这类事情变得容易得多。
帕特里克： 你们给他们付了额外的报酬，对吧？额外的报酬。你们现在还这样做吗？
罗布： 是的，‘看不见的手’（市场机制）确实能创造奇迹。
加文： 我是说，嘿，这对我同样管用。
罗布： 我们俩当时也都在那儿。
芯片供应链服务与电力制约：台积电的良率共赢与超级Token工厂的配电难题
帕特里克： 我想退后一大步，来谈谈更广泛的生态系统。供应端的短缺数量、全球系统暴露出的风险，以及围绕这些物资的供应链，已经成为了《华尔街日报》每天的头版新闻。比如人们关注、投资并为之兴奋的股票。如果你想想存储芯片（memory）股票，五年前它们还只是枯燥的、像‘无足轻重、无人问津的普通大宗商品股’（nothing burgers）一样的股票，而现在它们成了全球瞩目的焦点。因为你们一直在这个领域里深耕，如果让你评估使这种产品成为可能的全球互联供应链，你会怎么看？随便聊聊。比如什么让你感到害怕？什么运转良好？什么需要改变？你希望通过你们构建这款产品的方式改变什么？你对现状有什么评估？
加文： 我认为，供应链故事中最被低估的方面之一是，几乎没有哪种物资是买完之后就再也不用和供应商沟通的。你必须去协作。我认为，无论是与台积电（TSMC）还是与存储芯片供应商合作，要在芯片领域取得成功，最核心的部分就是合作关系。
特别对于台积电，人们并不理解它为什么如此有价值。你看着他们的技术，那确实是世界上最好的。但对我来说，真正的价值完全在于他们的服务。台积电的客户服务比我在任何其他行业的任何其他公司见过的都要好得多。
打个比方，如果你说：‘嘿，如果做出这个改动，你可以提高良率（yield）。’你可以向他们提出建议，他们甚至会自掏腰包（在我们这个案例中确实如此）去跑个实验，看看是否真的能获得更高的良率。当我们发现我们是对的、实验成功时，他们就会把这个改动应用到整条生产线上。这种事情在大多数其他行业根本不可能发生。如果我去一家钢厂说：‘嘿，我希望你们改变钢材的成分。’他们会说：‘滚蛋。’但台积电不会。这就是为什么他们是行业第一，也是为什么他们会赢。
罗布： 至关重要的一件事是电力的可用性（power availability）和通电时间（time to power）。问题在于，你需要的电力越多，面临的短缺就越严重。这其实与芯片集群非常相似——比如，为什么 Colossus 租用 Blackwell 芯片每小时要收费 12 美元？因为他们是唯一能让你一次性租到 20000 张卡的地方，对吧？为什么 500 兆瓦的数据中心如此难找？也是完全一样的道理。我们需要思考的问题之一是，如何从每兆瓦的电力中榨取更多的价值？
人们正在对整个技术栈进行探索，无论是纯粹提高 PUE（能源使用效率），还是采用全新的硬件来在解决这个问题的同时实现‘每兆瓦产生的最大 Token 数’。但从根本上说，盖新大楼是很难的。从 100 兆瓦做到 1 吉瓦容易，但从 1 吉瓦做到 10 吉瓦，或者从 10 吉瓦做到 100 吉瓦就难了。在这些时间表上，我们正在推向可能性的极限。因此，有很多人在试图横向扩张（scale out）数据中心的同时，也在极力提升其内部效率与密度（scale in）。
加文： 是的。我的意思是，像这样的系统，它最有趣的地方之一在于它所替代的东西。
交互延迟与吞吐量权衡：基于 MoE 混合专家模型的超并发硬件底座
帕特里克： 所以，如果我将这样一个机架，与比如一组 Blackwell 芯片或者 Rubin 芯片，或者其他接下来要推出的芯片进行对比。我该如何去概念化它？因为正如你所说的，这不仅是功耗（瓦特）的问题，也是物理空间的问题。人们突然在 Cerebras 最近的财报电话会议中听到了这一点——他们提到，无处安放系统已经字面上成为了一个切实存在的问题。那么，我该如何概念化这在其他计算单元方面所代表或替代的意义？
罗布： 客户在部署模型时，通常是这样思考的：你知道，当我建造一个数据中心或者构建一个集群时，并不是在抽象地考虑‘噢，我喜欢这些芯片，这是它的功耗指标等等’。而是‘我有一个真实的生产环境工作负载需要服务，为了让我的产品有用，我需要以特定的速度来运行它’。对于某些产品，这速度需要非常快；而对于某些产品，它可能很慢。无论要求什么速度，那就是我的目标速度。问题在于，在给定的电力容量下，在保证这一速度的同时，我能服务多少用户？
加文： 所以，另一种说法是：在同等的交互性（interactivity，即相同的响应延迟）下，我的吞吐量（throughput）是多少？我们刚刚完成了一项…… 在 AI 基础设施爆发的早期阶段，人们真的只关心速度。要知道，GPU 无法达到其他类型芯片（比如所有这些 SRAM 芯片）的许多速度——比如每秒数千个 token，而这带来了大量让人兴奋的新用例。现在有一波全新的 AI 芯片（我们就是其中之一）都能达到这样的速度。那么问题就变成了：如果你达到了这个速度，你同时能服务多少用户？或者代入一下，如果我有一个 100 兆瓦的数据中心，我同时能运行多少个软件智能体 (software agent)？因此，当人们进行这种评估时，在给定的交互水平下，我们的硬件通常能够提供比对手高出一个数量级的并发量。这直接转化为每瓦 Token 数 (tokens per watt)、每美元 Token 数 (tokens per dollar)，即人们在大规模部署这些巨型混合专家模型 (Mixture of Experts) 时真正关心的所有指标。
现在有那些著名的交互曲线 (interactivity curves)，对吧？虽然没有多少人公开它们，但你可以看到 Blackwell 的曲线，也可以看到 AMD 的曲线（稍微比 Blackwell 差一点，但它仍然是一家市值 8000 亿美元的公司）。所以，如果你想想如果将这条曲线不仅往外推一点，而是大幅向外推，会产生怎样的影响。是的。
帕特里克： 最让你兴奋的是，这将开启或促成什么？我的意思是，
加文： 我想要去解决一些最困难的问题，而且我想用少得多的时间去解决它们。我的意思是，在我的成长过程中，有些事情我不确定有生之年能否看到。例如“单位圆盘猜想 (unit disk conjecture)”，这是我们在大学里讨论过的事情之一。
罗布： 是的。
加文： 我不确定这辈子能否看到它被证明。但这是一个 AI 模型完成的，虽然花了很多时间。但如果你能把同一个模型的运行速度提升 10 倍，你就可以缩短取得这些突破所需的时间。数学中还有大量类似的问题，我担心要花上百年甚至上千年才能证明。你要么需要一个聪明得多的模型，要么需要一个智能水平相同但运行速度快得多的模型。如果你能缩短这个时间，我这辈子就能亲眼见证。看到这些突破的诞生真是太酷了，我非常兴奋能看到更多这样的突破。
我认为人们常常在极短的时间跨度内去思考任务、应用之类的事情。例如，聊天速度加快 50% 固然很好，但并不能改变游戏规则。随着这些智能体的运行跨度越来越长，模型的能力越来越强，你会看到需要数月计算量的巨大工作体量。我们是用“实际耗时 (wall clock time)”来思考这个问题的。如果你去和实验室的预训练研究员交流，他们会告诉你实际耗时往往是最关键的因素之一。所谓实际耗时，是指从开始运行到结束并真正拿回数据的物理时间。如果你能把这个时间缩短，比如从 6 个月的运行缩短到 2 个月的实验，你就能进行多得多的迭代，人们也会通过改变模型架构来切实改善实际耗时。
在用例的思考上，我们也秉持非常类似的逻辑。超低延迟解码 (decode) 的兴奋点在于，长周期任务的实际耗时会变得短得多。一个原本需要一年的计算任务，现在只需要一个月；一个月的工作现在只需要 3 天；3 天的工作现在只需要 7 个小时，以此类推。我认为这是非常难以让人具象化理解的，因为模型才刚刚变得足够强大，能够做这些事情。几个月前，Cursor 发布消息称他们使用了一群编程智能体，在短短一周内从零开始构建了一个完整的浏览器，这真的太不可思议了。而这种情况很快就会在不到一小时内发生。在这类大规模并行智能体共同协作完成特定任务的过程中，还会有许多类似的事情发生。
挑战物理极限：光速延迟瓶颈与突破8路芯片扩展极限的超级系统
帕特里克： 这些系统的终极限制是什么？这仅仅是一个物理学问题吗，比如我们在理论上能实现多少倍的速度提升和成本降低？你对此怎么看？
加文： 正如人们常说的，“底部还有很大空间 (there's plenty of room at the bottom)”。如果你看英伟达产品的芯片间延迟，从一片芯片传输到另一片芯片大约需要 4000 纳秒。我们能做到比这好得多。
帕特里克： 物理上的极限是多少？
加文： 是光速。你可以在几纳秒内完成，比如 2 到 3 纳秒。
帕特里克： 而他们目前是 4000 纳秒。
加文： 今天确实是 4000 纳秒，所以底部还有很大的提升空间。我认为像能效这样的指标，虽然我们目前通过大幅降低电压节省了大量功耗，但其实还可以做得更低，低得多。这非常有挑战性，但展望二三十年后的未来，我认为这是不可避免的。
此外，在集群扩展 (cluster scale-up) 的规模经济方面，长期以来，8 颗芯片是最大的单一扩展域，英伟达甚至有 NVL72，将其提升到了 72 颗。但你其实可以做得比这大得多。比如看看半导体晶圆厂 (fab)，一个造价 400 亿美元的单一庞大建筑，内部只有寥寥几条生产线在运行。对于未来的超级集群，你也可以做类似的事情——投入 400 亿甚至 1000 亿美元建造一个巨大的超级 Token 工厂，为海量用户服务一个或少数几个模型，以此获得相同的规模经济。同样的模型，服务海量的人群。
免编译内核与算子优先：打破 PyTorch/CUDA 桎梏的高频交易哲学
帕特里克： 你提到过算子工程 (kernel engineering) 是你的第一份工作。这个领域已经从过去无人知晓的状态，演变成了如今大家经常挂在嘴边的热门话题。它的重要性在于能够从裸金属 (bare raw metal) 硬件中榨取更多性能。那么，什么时候这部分工作会完全被 AI 接管？目前人类仍然是最好的算子工程师吗？他们是在 AI 系统的协助下进行开发吗？在设计这些系统的过程中，人类会在多大程度上继续参与？这种工作何时会彻底消失？
加文： 目前这完全是一种混合状态，最好的算子仍然是由人类与 AI 协作编写的。任何 AI 模型都是由这些基础原语 (primitives) 构建起来的，比如矩阵乘法 (matmuls)、卷积 (convolutions)、以及芯片间的集合通信操作 (collectives)。让这些操作相互重叠并跑得极快至关重要，而算子设计者的工作就是去找出哪里可以重叠、如何分配内存，以及如何验证在需要重传等问题出现时，不会导致整个流水线停滞。
这些事情非常具有挑战性，但每次优化能让你的性能提升 3% 到 4%，并且可以不断累积。当我们思考我们的软件栈时，我们想要“滑向冰球将要到达的位置 (skate where the puck is going to be)”。三年前，构建软件大概有两种途径：一种是在图编译器 (graph compilers) 上进行重度投资，这种工具性能不算极佳，但开箱即用，不需要人类进来微调每个算子；而我们走了相反的方向，我们采用“算子优先 (kernels-first)”的编程理念。这意味着在很长一段时间里，它确实无法开箱即用，但如果你是算子领域的专家，你就能获得令人难以置信的极致性能。关键在于，随着代码生成模型变得越来越好，它们承担了越来越多算子生成的任务。当模型变得越来越聪明，它最终会完成所有这些工作，并达到超人 (superhuman) 的水平。所以，我们是在为未来的世界做构建。甚至在今天，当我们在思考性能分析工具 (profiling tools) 或调试栈 (debugging stack) 时，我们更多地是从“模型将如何使用这些工具”的角度来考虑，而不是“人类将如何使用它们”。
我们有时会在内部做一些实验，我们曾让 Codex 仅根据我们的文档，就完全自主地从零开始把 GPOSS（译者注：原文如此，疑似原音转录错误，指 Sohu 芯片上的底层操作系统或微架构模拟器组件）运行了起来。
帕特里克： 哇。
加文： 而且我记得它是通宵完成的。我们经常思考“游戏选择 (game selection)”，意思是要确保我们将精力投在正确的赌注上，因为无论你选择做什么，都需要付出巨大的努力。要知道，我们一开始做出的一个明确决定就是：不构建通用的图编译器，不支持任意的 PyTorch，不支持任意的 CUDA，不支持任意的 ONNX 图。相反，我们设想的世界里，真正重要的模型将不超过 100 个，而且从底层的数学角度来看，它们都非常相似。我们要利用物理学构建基础原语，尽可能快地加速这些模型，同时允许最专业的客户直接访问硬件并为所欲为。这省去了我们构建编译器的大量时间，并且实际上让我们获得了更高的性能。有趣的是，我们刚开始的时候，很多人对这个想法嗤之以鼻，唯一认真对待我们的是高频交易（High-Frequency Trading，简称 HFT）领域的从业者，因为他们也都讨厌编译器，都是自己编写算子。后来，有数十名来自高频交易行业的人加入了我们的团队，因为他们也认同这种理念。
垂直整合边界：大厂自研芯片与 Etched 的生死专一性
帕特里克： 垂直整合 (vertical integration) 的界限在哪里？你们如何知道在哪里划定边界？我提出这个问题是想探讨一下更广泛的市场情况。当前市场的整体状况对我来说非常有趣——绝大多数的 AI 芯片都是被极少数客户买走的。
而且，这些客户中有很多自己也在尝试设计他们自己的 AI 芯片。比如 OpenAI 宣布了 Jalapeno 芯片计划。这似乎是一个非常有趣的局面：世界上最有价值的东西好像都流向了少数几家芯片制造商和少数几家芯片买家，而且他们似乎都在考虑做对方的工作。然后又出现了这样的情况：好，这些芯片进入了数据中心，你又有了新型云服务商 (neoclouds) 和推理服务提供商 (inference providers) 以及技术栈的其他环节。你还有模型构建者与提供商。我能想象这样一个世界：因为你拥有最好的硬件，所以你开始设计模型，建立数据中心，你的业务范围“溢出”了你目前的垂直领域。那么，你是如何思考该在哪里为公司划定业务边界的？
罗布： 我们有一句话：“量产即产品 (production is the product)”。归根结底，这里最关键的是，我们知道推理 (inference) 将是世界上最大的市场。谁能生产最多的 Token，谁就将是世界上最有价值的公司。因此，我们做出的所有决策都围绕着一个核心：如何将尽可能多的 Token 产能带到线上。这其中一部分是构建一个真正出色的产品，它拥有高得多的吞吐量，能够以好得多的延迟运行，这样我们生产的每颗芯片就能让更多 Token 上线。另一部分是，除非为了达到巨大的规模而不得不做，否则我们绝不触碰技术栈的其他部分。所以，有一些环节我们决定自己做，是因为要达到规模化就必须做，比如构建整个机柜 (rack) 而不仅仅是只做芯片；又比如采用 CM（合同制造，Contract Manufacturing）模式，而不是 JDM（联合开发制造，Joint Development Manufacturing）模式。
但你知道，技术栈里有些部分对我们现在来说只是“噪音”。比如我们今天没有去建造自己的数据中心，因为这实际上并不能帮我们把更多的 Token 产能带到线上。一般来说，我们的客户其实会自己想办法解决电力问题，并调整他们的集群以部署我们的芯片，因为我们的芯片吞吐量太高了。如果未来的世界里其他环节成了瓶颈，我们完全会去和它们进行整合。但现实是，我们现在只是纯粹专注于让尽可能多的 Token 上线。我认为这最终还是归结为规模经济 (economies of scale)。同样，在技术栈的某些部分存在巨大的规模经济，而在其他部分则没有。例如，在设计模型方面，存在巨大的规模经济；在芯片制造 (chip fabrication) 上，也是如此。但如果你想想去制造机柜内部的某个金属小零件，那就没有同样的规模经济效应了。
加文： 我们认为自然的边界是底层的芯片端和顶层的模型层，而我们会填补这两者之间的所有空白。
罗布： 几周前，有一个人在一家前沿公司负责下一代 AI 芯片的研发。他试图招募我们的一位架构师。结果我们的人玩了一手“反转卡 (UNO reverse card)”，反而开始去招募那个想要挖走我们员工的人。结果在短短一周内，我们就把他雇过来了。当我们在最终敲定录用信 (offer) 时，我正在外面散步，我当时…… “比如，你正在领导这么一个超级重要的项目，为什么要决定加入我们？”他的回答非常有趣。他说，对谷歌来说，TPU 项目的成功在根本上并不关乎生死，因为他们的收入主要来自搜索。
帕特里克： 如果 TPU 失败了，谷歌也不会倒闭。
罗布： 没错。如果 MTIA（Meta 的 AI 推理芯片，Meta Training and Inference Accelerator）失败了，Meta 不会倒闭；如果 Maia（微软的 AI 推理芯片，Microsoft Azure Maia）失败了，微软不会倒闭；如果 Jalapeno（OpenAI 的自研 AI 推理芯片计划）失败了，OpenAI 也不会倒闭。但最终，这是我们唯一的生命线。
这就像世界上最好的芯片是由一家只做芯片的公司制造的一样，这完全不足为奇。那就是英伟达，对吧？而对我们来说，尽可能多地把 Token 产能带到线上，完全是生死攸关的大事。这种紧迫感吸引了一大批顶尖人才，也赢得了供应商和客户的支持，他们和我们一样，带着极大的专注和热情来看待这件事。
看看原始的 Flop（浮点运算）数据。你可以把实验室或超大规模云厂商制造的任何芯片拿来做对比。比如在 FP8（8位浮点）对 FP8 的计算中，它们的 Flop 密度都要低于 Blackwell B300。
帕特里克： 确实。
罗布： 这很合理，因为他们没必要去冒那种风险。他们只需要造出一个足够相似的产品，从而不支付“英伟达税”就行了。
万亿分之五十秒：跨时钟域反压逻辑失效与极暗两周的调试危机
帕特里克： 当我想起你们在构建这个解决方案时，这个过程其实就是在解决一系列极具挑战的难题。对你们而言，最难克服的单次挑战是什么？
加文： 在设计芯片时，我们构建了一个规模庞大的 FPGA 集群，用来验证整颗芯片是否能正常工作。FPGA 是数字电路，你只能用它测试数字逻辑，无法测试模拟逻辑。结果，当芯片流片回来拿到手后，我们发现在运行注意力机制计算时，开始出现结果错误的情况。
我们仔细排查后意识到，糟糕，跨时钟域的反压逻辑失效了。这会导致芯片输出错误的数据，而且这个问题解决起来极其棘手。最后我们发现，唯一的办法是将芯片上的两个时钟信号精确对齐在 50 皮秒（皮秒即万亿分之一秒）以内。这真的是万亿分之五十秒！我们必须在每颗芯片上，以如此微小的精度对齐时钟信号，并且要在每秒 20 亿次的极高频率下稳定运行。
罗布： 当时很多人都说这是不可能完成的任务。
加文： 我们甚至有人因此离职了。
罗布： 是的，当时有人真的觉得这个问题根本无解，只能祝我们好运，然后就走了。
加文： 当你遇到类似的问题时，第一步是先假设这个问题是可以解决的。那么，该如何解决呢？我们意识到，首先必须找到一种方法，将我们的时钟相位移动 1 皮秒或 10 皮秒。
然后我们有了一个想法：如果我们将这两个时钟设置得稍微错开一点呢？我们发现，如果我们测出相位，然后利用某种漂移机制等待恰到好处的时间，让那 50 皮秒的时钟差始终保持对齐，我们就可以极其可靠地做到这一点，然后将相位锁定在它们应该在的精确位置。这样我们就能保证这种错误永远不会发生。当时大家看到这个方案真的成功了，而且效果如此之好，可能都有点被震撼到了。但我们确实把它做成了。
帕特里克： 这花了多长时间？
加文： 大概两周时间。
罗布： 那是极其黑暗的两周。
加文： 那确实是令人心惊胆战的两周。但关键是，当这种危机发生时，正是最需要投入全力的时候。虽然在感觉一切都毫无希望的时候做这件事最痛苦，但你越快解决这个问题，就能越快回到构建产品和扩大规模以实现量产的正轨上。
罗布： 我觉得我们创业故事的核心，就像加文所说的，就是去“假设它是可能的”。比如，假设在一颗芯片上集成多得多的算力是完全可能的；假设实现芯片间极低延迟的系统也是可能的；假设创建一个运行在更高带宽下的共享内存池也是可能的。那么，我们该如何实现它？
很多时候，我们做实验，做了几十个可能全部都会失败。但其实我们只需要其中一个成功就够了。这种事发生过很多次。比如芯片唤醒与调试阶段，我记得加文主导了大概 30 种不同的电路板实验，最后只有 3 个成功了，但这 3 个成功的实验，每一个都价值连城。
加文： 所以每次有人跑来对我说：“加文，你做的实验几乎没一个能成功。”我都会回答：“我只需要运气好一次就够了。”
帕特里克： 所以，关于刚才我们聊到的公司历史上的艰难时刻，我想到的一点是关于融资的能力。我觉得当你们刚开始创业时，你们知道自己需要资金，但你们绝对没有想到，最终构建这个解决方案需要融到并花掉如此巨大的资金量。而且你们以前也没有融资过，这些对你们来说都是全新的尝试，对吧？当时确实有非常艰难的时刻，因为我就在现场，亲眼目睹了。在那些极其艰难的时刻，如果融不到那笔钱，公司可能就不复存在、彻底死掉了。就像所有伟大的创业故事一样，有很多九死一生的时刻。但在这样一个硬件新世界里，资金问题尤为突出。这不像写软件，不仅仅是需要一点钱。所以，你们能讲讲早期融资过程中最难的部分吗？在你们还没有拿出能让人眼前一亮的产品和惊艳的数据之前，仅仅是你们两个人在描绘一个构想。谈谈早期融资的困难吧，因为那真的非常残酷。
加文： 我们确实经历过一些非常紧张的时刻。这让我想起了大概在 2024 年初，也就是在我们融 A 轮之前。当时，我们已经完成了足够多的架构和设计工作，确信芯片的架构是成立的。但我们必须去把它造出来，这后面还有很多工作要做。当时我们准备进入所谓的“物理设计”阶段，需要与一家物理设计供应商签署协议，而这笔费用至少要花 4000 万到 5000 万美元。
紧接着我们意识到，随着模型变得越来越大，各种巨型模型层出不穷，我们不仅需要造出芯片，还需要构建整个集群——包括电路板、互连系统、冷板，还要解决所有的网络和其它配套设施。而这需要耗费的资金，远远超出了我们当时银行账户里仅剩的 1500 万美元。
帕特里克： 当时你们肯定觉得，天哪，这太可怕了。
加文： 是的。
罗布： 在那个时刻，你坐在那里心想：“天哪，我们根本负担不起这个。”我甚至开始琢磨：“呃，要不还是回哈佛继续念书吧，这有多难？”
我是说，在 2023 年底，我们撰写了一份备忘录。我们在这上面花了大把精力，至少有上百个小时，因为我们心想，如果我们要去向投资人要这么一大笔钱，他们怎么可能会相信我们？那份材料足足有 30 页纸，非常硬核和技术化，详细列出了我们需要构建的各种系统、需要达成的所有里程碑、市场未来的演变路径、所有全新的应用场景，以及每个 Token 的成本和相应的财务模型。
然而，当我们拿着这份材料去和投资人沟通时，硅谷所有的头部机构都无一例外地立刻拒绝了我们。他们的态度基本就是：“好吧，两个刚从哈佛毕业的小孩，连流片都没做过，甚至连测试芯片都没有，而且你们做的是推理芯片。谁知道这会不会是一个巨大的市场？现在所有人都在做训练，而且现在的模型依然有幻觉问题，这一切可能只是个泡沫。”
你要知道，当时半导体初创公司最大的 A 轮融资金额也就在 4000 万到 5000 万美元左右。而我们算了一笔账，发现我们在接下来的 12 个月里就需要花掉 1 亿美元。如果我们真的想做这件事，如果我们想要真正实现规模化并达到我们所说的性能指标，这必将是极度消耗资本的。我们到底要怎么做，才能把这笔钱筹齐？我想，我们在这个过程中破局的关键方式之一是……
加文： 我们当时想，怎样才能用最省钱的方式来做这件事？我们决定，如果我拿极低的薪水……
罗布： 是的。
加文： 而且如果我只吃方便面，那么我们基本上只把钱花在流片的光罩费用上，仅此而已，对吧？
罗布： 如果是这样，我们或许可以用 3000 万美元把芯片做出来，这绝对是一个低得离谱的数字。然后，我们联系到了一家债权融资提供商，对方愿意借给我们这笔钱，让我们勉强跨过这个“吃着泡面死撑到出芯片”的门槛。从此开始，它催化了一连串后续反应：“嘿，或许我们还能再做成一件事，再做成一件事。”是的。
所以当时我们正处在一个关键时刻。我们心想，如果真的打算做这家公司，我们就绝不能敷衍了事。我们不想只做一颗测试芯片，然后花上好几年时间，眼睁睁地看着整个 AI 市场的风口从眼前溜走，而我们原本可以去构建真正的产品。如果我们要做，就要全速前进。我们必须想办法筹集 1 亿美元。
我记得当时我和加文深夜坐在库比蒂诺的办公室里，面面相觑。我们讨论着：这里能不能削减 50 万美元？那里能不能再省下 10 万美元？我们能说服大家在多长时间内不领薪水？最后我们发现，天哪，账根本对不上。我们真的必须解决这个问题。
接下来的几个星期，我们进入了求生模式。我们给每一个可能认识投资人的人打电话，对他们说：“我们需要 1 亿美元来做这件事。如果我们做成了，这可能会成为有史以来最重要的公司之一。你认识谁愿意下这个激进的赌注，愿意相信我们吗？所有资料都在这，我们毫无保留。这是我们的团队，大家都非常优秀，一直在极其拼命地工作。我们已经用创纪录的时间完成了目前的工作，虽然未来还有上百件事等着我们去做。你们想加入吗？”
然后，雪球就开始滚起来了。今天拿到 100 万，明天拿到 200 万，你会想：“好吧，这个月我们不会破产了。”接着你拿到一张 500 万的支票，或者一张 1000 万的支票，你会觉得：“太好了，这下我可以去买那些 FPGA 了。”就这样，雪球越滚越大。我们非常幸运，最终把这笔资金筹齐了。我还记得在一次董事会上，我展示了我们的电子表格，我们看着它，那一刻…… 比如1.03亿美元。当时这基本上都是意向认购（soft commits），我们面面相觑，然后说：“我们要拿下这笔融资。”这就是我们的A轮。幸运的是，自那之后融资变得容易多了，我们至今已经完成了将近六轮融资。很多都是由之前的投资人继续成倍追加投资。这让我们能够以极快的速度将产品推向市场。如果我们当时不那么激进，今天根本不可能把这个机柜（rack）做出来。
加文： 我也认为我们的供应商在这里同样值得称赞。没错，台积电（TSMC）在我们在融到那1亿美元之前、在一切还非常令人心惊胆战的时候，就愿意与我们合作。他们实际上让我们以极其优惠的条件拿到了他们的一些仿真器（emulators），允许我们分期多年付款。
罗布： 是的，这基本上就是一笔巨额贷款。要让合作伙伴愿意这样做，需要他们对你抱有极大的信任。但最终，你会磨练出一支非常强大的团队，而所有支持你的人也不仅仅是为了纯粹的财务回报，他们是真的相信这件事。
晚宴上的数学与信任：如何说服台积电副总裁并获取巨额仿真贷款
帕特里克： 你觉得台积电为什么会相信你们？
加文： 这是一个非常棒的故事。甚至在你参与进来之前，有一次半导体行业会议。我是为数不多的年轻半导体公司 CEO 之一，我想他们可能是觉得新鲜，才邀请我去演讲。我到了会场，发现自己是唯一一个40岁以下的演讲者，也是唯一一个30岁以下的人。我当时只有22岁。
于是我上台发了言。晚些时候有一个演讲嘉宾晚宴，我凭着运气恰好坐在了一位台积电的非常资深的副总裁旁边。那是一场非常高档的晚宴，比如 ARM 的前 CEO 也在场，大家都穿着西装，非常奢华。我跟这位副总裁聊了起来，结果发现我们大学都是学数学的。我们拿了一张小纸条，开始非常详细地讨论现代 AI 模型在具体的张量（tensor）层面上是如何运行的。他完全听懂了。我们开始讨论：“嘿，如何极其高效地运行这些模型？为什么低电压技术（low voltage）对于实现这一目标如此关键？”
第二天，我就收到了台积电发来的邮件，写着：“加文，我想与 Etched 合作，想办法促成这件事吧。”
帕特里克： 太疯狂了。
加文： 自那以后，他们一直是非常棒的合作伙伴。
逆向正确与非共识认知：跨越健康的无知与无视基础概率的艺术
帕特里克： 想想那些常见的投资陈词滥调（tropes），这真的很神奇。当然，在这里我应该打破一下“第四面墙”。我是 Etched 的大投资人，参与时间已经很长了。我非常看好你们，所以在这场对话中，我显然是有极大偏见的。我试图问一些更广泛、更有趣的问题，或者一些可能是针对你们业务的质疑，我们之后还会继续这么问。
但让我觉得非常有趣的是，当你阅读关于投资的内容时，每个人都会引用“逆向且正确（contrarian and right）”这个概念，认为这是最赚钱的象限。这听起来很好听，但“逆向（contrarian）”意味着其他人都会觉得你很蠢。所以，当你出去融资并遭到所有人毫不犹豫的拒绝时，在最终成为共识之前，身处那个象限是极其令人着迷的。
罗布： 我是说，你当时是什么感受？我超级好奇。
帕特里克： 嗯，这挺有意思的。当时，这是我开出的最大的一张首笔投资支票（first check），而且金额远超以前。毋庸置疑，我当时既不是数学专家，也不是半导体或 AI 专家。所以，这更多地是因为我相信这个市场潜在的巨大规模；也因为你们对未来做出了非常明确的押注，并让公司定位以极度硬核的方式去攻克这些难题。此外，就是你们两个人给我的感觉——这是我们在2023年左右决定投资的最主要原因。
但当时，这确实是最大的一笔投资。我认为你提到的那种“天真（naivety）”不仅适用于创立半导体初创公司，同样适用于投资：那就是我当时不知道自己不知道什么。当我打电话给专家时，他们基本上都说“这太愚蠢了”。他们用非常符合逻辑的语言陈述了为什么这行不通，以及为什么这是一个概率极低的赌注。我从中学到的一点是，你必须在某种程度上无视“基础概率（base rate）”。如果你总是根据基础概率进行投资，那你就不应该做我们现在所做的事情——毕竟，大家还可以去买指数基金。
罗布： 是的，总有指数基金可以买。
帕特里克： 没错。所以，对我来说其实从来没有感到害怕。我想这主要是因为“不知者无畏”吧。我不知道的事情太多了。如果我对你们所做的事情以及其中的重重困难了解得更深，我可能就不会投资了。我不知道这对于一个投资人的“成熟”意味着什么。也许我并不想了解太多，只想保留一些那种“健康的无知（healthy naivety）”。我也不太确定。
加文： 很有意思。我是说，很多传统的半导体基金错过了所有的 AI 芯片公司，就像所有的编程专家错过了所有的编程/代码初创公司一样。我认为，人们很难意识到限制条件已经发生了变化。比如，当你看了20年的流片（tape-outs），见过太多次第一、二、三次尝试都失败、甚至连工作负载都无法运行的情况时，你就会完全忘记现在的 EDA 工具已经好得多，FPGA 如今的存在和应用方式也大不相同，而且我们现在拥有的各种验证手段在以前是根本不可能实现的。
所以，我觉得对于我们来说，支持我们的人基本上分处在两个极端：要么是坚信这个市场和我们团队的人；要么是现在就在做芯片、技术极强的机构，比如高频交易（HFT）公司。他们会逐行审计我们的一切，从微架构、RTL（寄存器传输级）到电路板设计，再到研发进度和软件栈。我们会和他们十来个自己设计芯片的技术人员坐在一起，他们问的问题极其深入，以至于我们甚至怀疑他们是不是想自己去造芯片。我们获得的支持确实都集中在这两端。如果你处于中间地带，你根本无法理解我们所做的事情。
帕特里克： 在投资界，人们经常谈论“非共识认知（variant perception）”——也就是你看到或相信了别人没有看到或不相信的东西，对吧？正是这种认知创造了机会。我想我已经投资过大概五次符合这种情况的项目了。每一次投资，赌注都会变得越来越大，因此确实会让人感到越来越有些害怕。而且，因为你们在市场上一直非常低调，别人很容易忽视你们。但随着赌注越来越大，这些外界的忽视和否定也变得更加难以忽视。
所以，我确实认为，当你押注于你所看到的、而外界听到的却是完全不同的东西时，那种认知差距是极其巨大的。确实如此。最后我想说的是，你们和你们的团队解决看似不可能的问题所累积的证据，是公司能拥有的最有趣的资产之一。这就像是二元的——公司要么能做到这一点，要么做不到。
谜题开始解了：战壕里抽雪茄的老兵与硅后晶圆针测的红色危机
罗布： 确实是这样，这也是老员工的一大优势。你可能会遇到一些新加入的员工被吓得半死。但当你看到这种情况，而那些已经在这里待了整整两年的“元老”们……
加文： 他们就像是在战壕里抽着雪茄的沙场老兵，淡定地看着新员工说：“又来一个，又解决一个。”
是的，我们团队里绝对有一种“想方设法”（find a way）的信念。如果你在这里工作，那是因为你默认这是可以实现的。所以，我们不能说这不可能。一切皆有解，我们只需要一直死磕，直到把它搞定。我最喜欢的一个故事是关于我们团队中一位在芯片验证领域堪称传奇的家伙。当时我们正在进行所谓的晶圆针测（wafer sort）的早期阶段。你知道，当芯片从晶圆厂出来时，它们是整片晶圆。在切割之前，你需要用一个叫做探针卡（probe card）的设备连接到晶圆的测试焊盘上，发送电信号来测试哪些芯片是好的，哪些是坏的。这样当我把晶圆切割成单个芯片时，就可以只封装那些好的芯片。
我们在测试第一片晶圆时，已经是凌晨两三点，因为我们是在电话里和台湾的台积电团队同步进行。我们看着屏幕，晶圆上一片灰色，每个芯片方块都是灰色的。随着你开始运行测试向量（patterns），那些小方块应该变成绿色（代表通过）或者红色（代表失败），结果它们全部变成了红色。我们当时都傻眼了，觉得这下彻底完了。但那位老兵对大家说：“各位，深呼吸。”然后他往后一靠，说：“谜题开始解了。”就是这种态度。你必须拥有这种心态——没错，你会走出去，凝视深渊，会看到各种可怕的事情，但我们会把它们一一解决。
帕特里克： 你们什么时候看到第一个绿色方块的？
加文： 就在那之后的一天内。但在那个当下，你心里想的是：“我为这个项目努力了这么多年，赌上了自己的前途，让我的家人也押上了他们的一切。结果它显示是红色的。”这真的极其恐怖。不过，确实有那么一类人，他们有点痴迷于这种感觉——感受恐惧，然后解决它。我们很幸运，团队里有很多这样的人。
下一代硬件简化与极致量产：拿掉冗余以应对数吉瓦级部署
帕特里克： 如果考虑到把过去几年积累的所有宝贵经验应用到接下来的第二代（Gen 2）、第三代（Gen 3）及更遥远的未来产品上。从概念的角度来看，基于你们在做第一代产品时学到的东西，你们在设计和生产下一代产品时，最显著的改变会是什么？
加文： 我们花了不少时间才摸索出那些对大规模推理至关重要的基础要素（primitives）。早期我们尝试了各种各样的方法，从能把不同模型编译进 FPGA 的编译器，到直接在芯片中固化权重，再到将 HBM（高带宽内存）分割用于 KV 缓存和权重等。在经历了大量的学习周期后，我们终于意识到，从根本上说，如果你想运行世界上绝大多数的 Token 推理，你只需要做好三件事：第一，你需要在给定的功耗预算内，制造出一颗算力（FLOPs）最高的芯片；第二，你需要让芯片与芯片之间的延迟达到最低，从而实现尽可能大的纵向扩展域（scale-up domain）；第三，你需要尽可能多地生产这种芯片。
罗布： 我认为，在前半段的创业历程中，我们学会了前两点，这给我们的芯片设计带来了极大启发。这也直接影响了我们未来在低电压推理（low voltage inference）和集群级内存（cluster-scale memory）上做出的押注。但是，关于“生产”这部分，在过去一年里变得极其显而易见。如果你的产品今天就有现货，人们会有多么渴望部署它。你知道，“最好的能力就是有现货（availability）”。如果我今天能拿出1000颗芯片，立刻就会有人用。我们不仅需要制造出性能远超以往的芯片，还必须能实现数吉瓦（gigawatt）级别的供应规模。我们需要制造出能够达到每月能生产数吉瓦设备产能的产品。
基于这方面的思考，我们在设计下一代产品（你已经见过了）时，做出的许多设计决策都围绕着“极致的简化”展开：拿掉大量的冗余零部件，不断尝试反复组装和拆卸，学习如何在生产中尽可能缩短周期，并确保其可靠性、易维护性，以及在超大规模下的可量产性。
帕特里克： 那么生态系统中其他那些你们无法控制的问题呢？比如台积电最先进纳米节点的产能，或者 HBM4 内存的供应情况，以及其他每个人都在争夺稀缺产能的领域。当你们试图生产尽可能多的产品时，你们如何面对这些现实挑战？
加文： 世界上部署算力最多的人确实会把供应链视为一种零和博弈——在给定的晶圆厂中，特定纳米节点的晶圆产量就那么多，对吧？内存的产量也就那么多。这其实就是为什么对于我们的第一代产品，我们选择了一条与 NVIDIA Rubin 不同的供应链。我们采用的是4纳米工艺，而 Rubin 采用的是3纳米；我们使用不同代次的 HBM，等等。因此，这实际上不是一个零和博弈，而是一个双赢的正和博弈，多多益善。所以，当我们与进行超大规模部署的客户交谈时，他们并不需要在1吉瓦的 GPU 和 1吉瓦的我们的芯片之间做单选题，而是“我全都要”，也就是2吉瓦。
在做出设计决策时，我们应该尽早地考虑供应链。因为如果你拥有性能最强大的产品，却无法量产，那么，你也不过是在纸上谈兵（you're just a podcast，意指光说不练）。另一个关于垂直整合的重要方面是，或者像芯片方面的某些事情…… 在内存（Memory）方面，你必须去寻找合作伙伴，对于其他大部分部件也是如此。这些也都是需求量极高的组件。你自己研发构建的部件越多，你在世界上现有可构建技术之上能做的事情就越多。这并不是说，哦，你是在抢占别人的可用资源，而是在创造更多、大得多的增量。我认为，这才是赢得竞争的关键。
智能体的物理局限：计算低廉与搬运昂贵的反直觉硬件博弈
帕特里克： 我意识到，我们有一件事完全没有聊到，那就是模型本身。这其实有点不可思议，因为模型正是这所有巨大需求背后的驱动力。基于我们目前所看到的一切，你们对模型的演进有什么有趣的看法吗？或者说，我更想知道，作为硬件层面的思考者，你们认为硬件可能会如何影响模型本身未来的发展方向？
加文： 我们深信的最重要观点之一是，机器思考的方式与人类不同。以飞机为例，飞机的飞行机制和鸟类的飞行机制完全不同。当思考机械设备的运作方式时，往往会发现其原理截然不同。同理，对人类的大脑神经元而言，存储数据和加载内存是非常廉价的，而进行数学计算相对昂贵；但对于芯片来说，情况恰恰相反。通常，加载数据（搬运数据）是非常昂贵的，而进行数学计算则非常廉价。随着时间推移，我认为你会发现，由于任何动态随机存取内存（DRAM，原文为 DRM）设备的物理极限，计算（Math）降价的速度要远远快于内存降价的速度。
因此，你应该去思考：如何让我的模型使用海量的计算资源？例如，如果让许多模型副本同时运行会怎样？如果激活大量的专家（Experts）会怎样？如果拥有庞大的专家模型，并且能够同时在多个服务器机架上运行，又会怎样？我认为，这才是构建下一代智能模型以及扩展上下文（Context）的途径。目前有很多关于极高效率推理的研究，比如“如果不将全部上下文加载到内存中会怎样”。在大多数情况下，我认为这很有道理。但如果你想构建超级智能，为什么它不能直接处理十亿 Token 的上下文？为什么不能消耗海量的算力，以极快的速度把所有这些内容都读进去？我非常希望能与一个能够在其短时记忆中处理人类有史以来写过的每一本书的机器对话。我认为，我们将走到一个点，到那时你无法……
罗布： 当前模型的一个主要趋势是对“动态性”（Dynamism）的关注。所谓动态性，是指在进行注意力机制（Attention）计算时，能够针对每一个 Token 或每一个用户，精确控制所消耗的计算量和内存大小；同时，还包括在芯片运行过程中，动态地将数据实时发送给其他芯片，以供不同模型进行特定类型的操作。其根本原因在于，随着我们不断扩大上下文长度、模型规模以及每个用户的计算量，我们必须寻找更高效的途径。
正如加文所说，像混合专家（MoE）架构，我们可能并不需要对每个 Token 都动用所有的参数。但可能还有其他情况，比如在 Token 级别，我们可以说：这个 Token 需要来自另一个 Token 的上下文，它们可以共享该内存，从而减少频繁调用内存的开销；又或者，某个 Token 非常重要，因此我们应该为其投入更多计算量，在其上应用更长的上下文。因此，能够真正加速这类高度动态计算的硬件就显得极为重要。你可以想象，在这些新型架构出现之前设计的现有硬件，在执行这些操作时会产生大量的额外开销。所以，你最终会陷入非常糟糕的境地：要么硬件在处理这种动态性时效率极低，导致无法很好地运行它；要么你就只能采用非常粗糙的架构，用“蛮力”去对待所有实际上需要不同计算量的 Token。
智能体人均配电量 GDP：每吉瓦智能体数将成为新文明的劳动力指标
帕特里克： 关于未来，我有两个问题。我们已经聊了很多关于你们目前所构建的产品以及是如何构建的。第一个问题是，人们可能会开始以哪些全新的方式来使用这些系统。比如底层的原始技术、运行时间的记录等等。当推理变得极其便宜、快速、触手可及，且总供给更充足、质量更好时，你们两位认为，人们会用这些新增的算力来做什么？哪些应用场景是你们最感兴趣、最兴奋的？
加文： 是的，此前诺姆·布朗（Noam Brown，译者注：OpenAI 著名 AI 研究员）发过一条传播很广的推文。他说，随着这些模型能够处理更长的时间跨度，它们可以执行耗时比如六个月之久的复杂任务。但在实际中，我们往往没有足够的时间去对一个模型进行如此长周期的评估，因为等六个月过去，新的模型已经发布了，你肯定更想去评估新模型。而利用我们所构建的集群级内存（Cluster-scale Memory）等技术，你可以以极快的速度跑完原本需要六个月的任务。
但这还有第二部分。我跟他聊过这个问题——他现在也是一名天使投资人。这不仅仅是时间的问题，更是协同工作的“人”或智能体（Agent）的数量问题。如果你试图去评估“人类能造出火箭吗？”，你会发现答案是“不能”。因为没有哪个人能单枪匹马造出火箭，你必须组建一个团队。我相信智能体也是如此。如果你想知道智能体能否开发出某种疯狂且极具未来感的软件，你可能需要一个非常庞大的智能体团队。可能需要 10 个，也可能是 100 万个。你必须拥有海量的集群级内存来确保极短的单 Token 响应时间，同时还需要庞大的算力（Flops）来运行这整个智能体团队。
让我更具未来感地畅想一下。我坚信，我们正迈向一个“推理将占全球 GDP 大部分”的世界。这可能需要 10 年以上的时间，但它必然会发生。现在，我们衡量社会生产力的指标是人均 GDP，但到那时，衡量标准可能会变成“每兆瓦智能体数量”（Agents per Megawatt），甚至是“每吉瓦智能体数量”。既然我们是在展望未来，我认为这也是人类占劳动力主体的倒数第二年。我想在 2027 年，你会看到从事知识性工作的智能体数量将超过人类。观察接下来的走向将会极其有趣。你可以想象这样一个世界：对于国家而言，其大部分能源最终都流向了运行推理的数据中心，而这些数据中心的能源效率，基本上决定了它们能够拥有多少智能体，进而决定了其劳动力队伍的规模。所以你会看到……
罗布： 正如加文所说，现在我们通常是一个智能体，或者一个 5 到 10 个智能体组成的团队，共同协作几天来完成某些项目。因为它们很聪明，所以确实能做一些很酷的事情，但这还算不上是文明级的规模。可一旦有国家能够拥有多达十亿个并发运行的智能体——相当于一支由十亿人口组成、7x24 小时无间断协同工作的劳动力大军，那会发生什么？我的意思是，那将产生的变革是无法想象的。这将是人类有史以来见过的最大规模的技术大普及。
同时我认为，当面对如此巨大且海量的需求时，“规模经济”（Economies of Scale）的规律会再次发挥作用。
加文： 没错。如果我们类比人类，我有大脑，但我不会同时使用大脑的全部区域，在任意时刻只有一部分区域是活跃的。这正是健康大脑的运作方式。对于混合专家（MoE）模型来说，它的运作机制也是类似的。在 MoE 模型中，对于任何给定的 Token，在任何给定的瞬间，只有一小部分参数会被调用。但如果有一大群用户在同一块硬件上运行，你就可以把这个“大脑”切分成许多不同的专家模型，部署在许多不同的服务器上，并在其上运行海量的吞吐任务。这样，你会有很多不同的流量入口，在任何特定时刻，都会有许多流量在使用“大脑”的各个部分。这也会让每次思考的成本、每个 Token 的成本大幅降低。
因此，我认为我们最终会拥有这些庞大体量的分布式“大脑”，其物理形态将是一个巨大的数据中心，里面配备了成群的芯片、庞大的算力（Flops）以及高带宽的纵向扩展互连（Scale-up Interconnect）。
万亿美元数据中心：Token 生产的规模经济不可阻挡
帕特里克： 你认为我们会看到耗资达万亿美元的单体数据中心吗？
加文： 当然，这只是时间问题。这就像问你是否会看到耗资 10 亿美元、100 亿美元或 1000 亿美元的晶圆厂（Fab）一样。规模经济是不可阻挡的，它不会停在“对晶圆厂来说，400 亿美元就是终极数字”这种瓶颈上。不，随着你投入更多的资金，晶圆的单片成本会持续下降。无论是制造钢铁的工厂，还是“制造” Token 的工厂，道理都是一样的。
外星人视角与 Token 供应链：寻找未来最庞大企业的分水岭
帕特里克： 如果有一个非常聪明的外星人降落地球，想要听听你们两位各自会如何定义和描绘你们正在应对的这个巨大机遇。你们会怎么对他们说？
加文： 我会这样向他们描绘：对于人类而言，“思考”是极具价值的，世界上每一家公司都是建立在思考的基础之上运作的。而我们正步入一个非常独特的历史时刻——我们拥有的机器，其思考能力几乎可以和最聪明的人类媲美，甚至很快就会超越他们。构建这些机器将是一个巨大的机遇。但比这更重要的是，随着需求呈指数级增长，运行这种“思考”的方式将会发生翻天尾地的变化。当下正是一个独特的窗口期，去构建一套全新的解决方案、勾勒一张全新的路线图，来解决未来如何在一个庞大的纵向扩展集群（Scale-up Cluster）上，同时为十亿人运行拥有百万亿参数规模的超级模型。
罗布： 我们正处在一个全新的智能时代。在这个时代，生产智能的成本远远低于智能本身所创造的价值，以至于我们在未来很多年、甚至数十年里，都将处于这些 Token（代币/计算标志，此处指大模型输出的基本单位）的严重供给短缺之中。基本上，任何能够生产 Token 的芯片或系统都可能变得极其昂贵且有价值。你应该去寻找 Token 供应链中的某一个环节——可以是从模型训练一直到我们所做的芯片硅片研发及其他领域，在其中投入精力并推动技术前沿的突破。坦率地说，未来最庞大的公司将是那些供应全球大部分 Token、并掌控该 Token 供应链大部分环节的企业。
更重要的是，人们需要构建这样的系统：当把越来越多的芯片连接在一起时，系统的整体成本反而更便宜。你希望的扩展（Scale）方式绝对不是：“哦，如果我想提供 10 倍的 Token，我就得去买 10 倍数量的服务器。”它必须是这样一种解决方案：当我想要提供 10 倍的 Token 时，我能够利用我们的集群级内存技术获得某种规模经济的优势，从而使我们无需为那些堆叠在一起的 Token 收取高昂的 10 倍费用。
手术与放疗的生命决择：十六岁轮椅少年的求生与父母之爱
帕特里克： 你们正在努力实现的未来真是令人无比兴奋。上次我和加文做节目时，我问了他我传统的结尾问题。所以这一次我想问你，别人为你做过最善良的事情是什么？
罗布： 在我接受癌症治疗期间，我不得不做出一个重大决定。当时医生找到我说：“现在是你做决定的时候了。你是想做手术，还是想做放疗？”这里的权衡是：如果你选择做手术，你活下来的概率更高，但你必须做好心理准备，你可能再也无法行走了；如果你选择放疗，你还可以继续行走，但活下来的概率没有手术那么高，你可能会死。你打算怎么选？
当时我只有 16 岁。我父母对我说，这个决定必须由我自己来做。我考虑了很久，最终决定接受手术。手术做完了。在肿瘤切除术中，有一项常规检查叫做“肿瘤坏死率分析”（Necrosis Analysis），医生会观察所有不同的细胞，判断它们是死是活，因为如果残留大量存活的癌细胞，那麻烦就大了。他们检查后告诉我：“一般来说，坏死率需要达到 98% 或 99% 才能算安全过关。而你的数值低于这个标准，因此你必须接受放疗。”
当时全世界只有少数几台机器能够进行我所需的那种放疗，其中一台在波士顿。那时我坐在轮椅上，需要搬到波士顿去住几个月。我的父母决定放下他们手头的所有事情，陪我一起搬过去照顾我。对此，我永远心存感激。
帕特里克： 太美妙了。谢谢你们，两位。这是一次非常棒的对话。