返回全部播客
Y Combinator 41 min · · 165,890 次播放

Demis Hassabis: Agents, AGI & The Next Big Scientific Breakthrough

主持:Garry Tan
嘉宾:Demis Hassabis
AGIDeepMindAlphaFoldAlphaGoGeminicontinual learningmemory systemsdistillation
原始播客链接

⚡ 速览

Google DeepMind CEO、2024 年诺贝尔化学奖得主 Demis Hassabis 与 YC 的 Garry Tan 进行了一场关于 AGI 之路的深度对话。他指出持续学习、长期推理和记忆是剩余未解决的关键问题,预计 AGI 将在 2030 年左右到来,并解释 AlphaGo 的思想(包括蒙特卡洛树搜索)如何在现代基础模型中复兴。讨论涵盖蒸馏技术对小模型的赋能(尚未发现理论极限)、AI 智能体处于早期但快速进步的阶段、模型能解 IMO 金牌却做错基础数学的「锯齿状智能」问题,以及真正创造力所需的是什么(发明围棋,而不只是下出第 37 手)。对于创始人,Hassabis 给出了具体建议:将 AI 与材料科学、药物发现等深科技领域结合,物理世界的复杂性本身就能构成抵御下一个基础模型更新的护城河。他还分享了 AlphaFold 式突破的三要素公式——巨大的组合搜索空间、清晰的目标函数、足够的数据——以及判断 AI 能否做出真正原创发现的「爱因斯坦测试」。

英文原文

Demis Hassabis, CEO of Google DeepMind and 2024 Nobel laureate in Chemistry, sits down with YC's Garry Tan for a wide-ranging conversation about the path to AGI. He identifies continual learning, long-term reasoning, and memory as the remaining unsolved problems, estimates AGI around 2030, and explains how ideas from AlphaGo are resurging in modern foundation models. The discussion covers the power of distillation for small models, the early state of AI agents, the 'Einstein test' for genuine AI creativity, and why founders should combine AI with deep tech domains like materials science and drug discovery.

🗺 章节地图

💡 核心亮点

1. AGI 还缺什么

Demis 估计大约有五成概率,在当前扩展范式之外还需要一两个大突破——持续学习、长期推理和记忆是仍未解决的关键问题。

EN original

What's Still Missing for AGI

Demis estimates about 50/50 odds that one or two big ideas are still needed beyond current scaling — with continual learning, long-term reasoning, and memory being the key unsolved problems.

2. 记忆不只是更大的上下文窗口

即使有了百万 token 的上下文窗口,简单粗暴地存储一切仍是蛮力做法。真正的挑战是高效检索与当前决策相关的信息,就像海马体在睡眠中巩固记忆一样。

EN original

Memory Is More Than a Bigger Context Window

Even with million-token context windows, naively storing everything is brute force. The real challenge is efficiently retrieving what's relevant for the current decision, much like how the hippocampus consolidates memories during sleep.

3. AlphaGo 的思想正在大规模回归

当今模型的思维链推理和思考模式是 AlphaGo 技术的后裔。DeepMind 正在大规模重新审视蒙特卡洛树搜索等思路,以推动下一波突破。

EN original

AlphaGo Ideas Are Coming Back at Scale

Chain-of-thought reasoning and thinking modes in today's models are descendants of AlphaGo's techniques. DeepMind is revisiting ideas like Monte Carlo tree search at massive scale for the next wave of advances.

4. 锯齿状智能问题

模型能解决国际数学奥林匹克的金牌题,却仍会犯基础数学错误——Demis 称之为「锯齿状智能」。这是模型对自身思维过程缺乏内省能力所致。

EN original

The Jagged Intelligence Problem

Models can solve IMO gold-medal problems yet still make elementary math errors — what Demis calls 'jagged intelligence.' This is an introspection gap in how models monitor their own thought process.

5. 创业最佳切入点:AI + 深科技

最具防御性的创业机会在 AI 与深科技(涉及物理世界——材料、医学和其他硬科学)的交叉点,下一个基础模型的更新不会让你被淘汰。

EN original

The Sweet Spot for Startups: AI + Deep Tech

The most defensible startup opportunities lie at the intersection of AI and deep technology areas involving the physical world — materials, medicine, and other hard sciences — where the next foundation model update won't render you obsolete.

6. AlphaFold 突破模式

AI 突破的三要素:暴力搜索无法解决的巨大组合搜索空间、可以用于爬坡的清晰目标函数、以及足够的数据或模拟器来生成分布内的合成数据。

EN original

The AlphaFold Breakthrough Pattern

Three ingredients for an AI breakthrough: a massive combinatorial search space where brute force fails, a clear objective function for hill climbing, and enough data or simulators to generate in-distribution synthetic data.

7. AI 创造力的「爱因斯坦测试」

用 1901 年以前的知识训练一个系统,看它能否得出爱因斯坦 1905 年的发现(包括狭义相对论)。这将标志着 AI 能够超越模式匹配,做出真正原创的发现。

EN original

The Einstein Test for AI Creativity

Train a system with knowledge up to 1901 and see if it can produce what Einstein did in 1905, including special relativity. That would signal AI can make genuinely novel discoveries beyond pattern matching.

🎤 金句

持续学习、长期推理、记忆的某些方面——这些问题仍未解决。我认为实现 AGI 需要所有这些。
EN original
Continual learning, long-term reasoning, some aspects of memory — these are still unsolved. I think all of these are going to be required for AGI.
Demis Hassabis
仅仅想出第 37 手还不够。那很酷、很有用,但它能发明围棋吗?我想要的是一个能发明围棋的系统。
EN original
It's not enough to come up with move 37. That's pretty cool, very useful, but can it invent Go? That's what I want — a system that can invent Go.
Demis Hassabis
第一步是解决智能问题,构建 AGI;第二步是用它来解决其他所有问题——我称之为科学中的「根节点问题」。
EN original
Step one was solve intelligence, build AGI, and then step two was use it to solve everything else — what I call root node problems in science.
Demis Hassabis
真正持久、有价值的东西没有容易的。所以,我一直被深科技所吸引。
EN original
Nothing that's really long-lasting and worthwhile is easy. And so, I've always been drawn to deep technologies.
Demis Hassabis
无论发生什么,我都会从事 AI 工作。我从很小的时候就认定,这是我能想到的最具影响力的事情。
EN original
I would have worked on AI no matter what happened. I just decided from a very young age it was the thing that could be the most consequential thing I could think of.
Demis Hassabis
存在一种化合物可以治愈这种疾病,只要能找到它。只要物理定律允许,唯一的问题就是如何高效地找到它。
EN original
There is a compound out there that would solve this disease if one could find it. As long as the laws of physics allow it, the only question is how do you find it in an efficient way.
Demis Hassabis
你能否用 1901 年的知识截止点训练一个系统,然后看它能否得出爱因斯坦 1905 年的发现,包括狭义相对论?一旦可以做到,我们就站在这些系统能够发明全新事物的门槛上了。
EN original
Can you train a system with the knowledge cutoff of 1901 and then will it come up with what Einstein did in 1905, including special relativity? Once that is, then I think we're on the verge of these systems being able to invent something truly novel.
Demis Hassabis
追求困难的、深层的问题,在某些方面并不比追求浅显、简单、表面的问题更难。它们只是难法不同而已。
EN original
Going after hard problems and deep problems is no more difficult in some ways than going after a shallower, simpler, more superficial problem. They're just differently difficult.
Demis Hassabis

🧭 行动建议

  1. 1
    AGI 时间线:约 2030 年,可能仍有缺失环节 1:53

    Demis 仍将 AGI 目标定在约 2030 年。当前技术将是最终架构的一部分,但可能还需要一两项重大创新。做深度科技的创业者应预设 AGI 会在项目中途到来。

    EN original

    Demis still targets ~2030 for AGI. Current techniques will be part of the final architecture, but one or two major innovations may still be needed. Founders building deep tech should plan for AGI arriving mid-journey.

  2. 2
    小模型才是实用的主力 8:13

    蒸馏技术让 flash 模型以极低的成本和延迟达到前沿模型 90-95% 的性能。目前尚未发现蒸馏的理论极限。

    EN original

    Distillation lets flash models reach 90-95% of frontier performance at a fraction of the cost and latency. No theoretical limit to distillation has been found yet.

  3. 3
    智能体需要持续学习才能真正升级 12:39

    当今的智能体在子任务上很有用,但无法适应新上下文。突破持续学习是实现「发射后不管」式智能体的关键缺失环节。

    EN original

    Today's agents are useful for parts of tasks but can't adapt to new contexts. Cracking continual learning is the key missing piece for fire-and-forget agents.

  4. 4
    将 AI 与物理世界的专业知识结合 31:00

    最具防御性的创业公司会将前沿 AI 与涉及原子的领域的深厚专业知识结合——材料科学、药物发现、医学。现实世界的复杂性本身构成了护城河。

    EN original

    The most defensible startups will combine frontier AI with deep expertise in areas involving atoms — materials science, drug discovery, medicine. Real-world complexity creates a moat.

  5. 5
    追求热爱,而非共识 32:20

    当 Hassabis 2010 年创立 DeepMind 时,投资者和学者告诉他 AI 是一条死路。他的建议:从事你真正热爱的事情,因为信念能带你度过无人相信的那些年。

    EN original

    When Hassabis started DeepMind in 2010, investors and academics told him AI was a dead end. His advice: work on what you're genuinely passionate about, because conviction carries you through when no one else believes.

  6. 6
    AI 突破的三要素公式 34:00

    当一个问题具备以下条件时,就适合实现 AlphaFold 式的突破:(1) 巨大的组合搜索空间,(2) 清晰的目标函数,(3) 足够的数据或模拟能力。药物发现完美符合。

    EN original

    A problem is ripe for an AlphaFold-style breakthrough when it has: (1) massive combinatorial search space, (2) clear objective function, (3) enough data or simulation capacity. Drug discovery fits perfectly.

  7. 7
    为 AGI 半途出现的世界做设计 39:00

    真正的深科技大约需要 10 年。如果 AGI 在 2030 年左右到来,创始人必须构建 AGI 能放大而非淘汰的东西。

    EN original

    True deep tech takes about 10 years. If AGI arrives around 2030, founders must build things that AGI can amplify rather than obsolete.

📖 全文

约 27 分钟 · 14k 字

0:00 · Intro

0:00持续学习、长期推理、[music] 嗯,记忆的某些方面,这些都还是未解的问题。我认为实现 AGI 需要所有这些能力。取决于你的 AGI 时间线是什么,你知道,我的是 2030 年左右这样的。[music] 如果你今天开始一段深科技的创业之旅,你必须考虑到 AGI 会在旅途中出现。这不一定是什么坏事,但你必须把这个因素考虑进去。[music] 你必须有一个能主动为你解决问题的系统,才能达到 AGI。所以,Agent 就是那条路径,而我认为我们是……Demis Hassabis 拥有科技界最不寻常的职业之一。他小时候是个国际象棋神童,然后在 17 岁时设计了他的第一款大热电子游戏——Theme Park。

0:46 · Demis Hassabis: From Chess Prodigy to DeepMind

0:53之后他重返校园,拿到了认知神经科学的博士学位,发表了关于大脑中记忆和想象力如何运作的基础性研究成果,然后在 2010 年联合创立了 DeepMind,只有一个使命——解决智能问题。而我认为他们做到了。从那以后,他的实验室完成了一些大多数人认为还要几十年才能实现的事情。AlphaGo 击败了世界围棋冠军。AlphaFold 攻克了蛋白质结构预测——这是生物学领域一个 50 年来的重大挑战——而且他们把它免费提供给了地球上每一位科学家。这项工作让他去年获得了诺贝尔化学奖。如今,Demis 领导着 Google DeepMind,在那里他正在打造 Gemini,并朝着他从少年时代就设定的同一个目标前进——通用人工智能。

1:48 · What's Missing Before We Get To AGI?

1:53那么,你思考 AGI 的时间比几乎任何人都要长。当你审视当前的范式——大规模预训练、RLHF、思维链——你认为 AGI 的最终架构中,我们已经拥有了多少?目前还缺少什么根本性的东西?嗯,首先,谢谢 Garry 的精彩介绍,很高兴来到这里。谢谢你邀请我来。这个空间真的很棒。我得经常来这里。你们都能在这个空间工作,真的很令人振奋。所以,你的问题是——我认为你刚才提到的那些组件,我很确定会成为 AGI 最终架构的一部分。所以,我认为它们已经走了很长一段路了,我们已经验证了它们能做到的很多事情。我无法想象一个世界,几年后我们会突然发现这是一条死胡同。这对我来说说不通。但是,在我们已经知道有效的东西之上,可能仍然缺少一两个东西。所以,持续学习、长期推理,嗯,记忆的某些方面,这些都还是未解的问题。还有如何让系统在各方面更加一致。我认为实现 AGI 需要所有这些能力。现在,也许是现有的技术只需要通过一些创新、一些渐进式的创新就能扩展到那个程度但也许仍然有一两个大想法需要被攻克。如果真有的话,我认为不会超过一两个。而且你知道,我的判断是大概五五开吧。所以,当然在 DeepMind,在 Google DeepMind,我们同时在研究这两个方向。我猜这真的是……和一堆相同的系统一起工作,最让我惊讶的是,在多大程度上它是一遍又一遍的同一套权重。所以持续学习这个概念太有意思了,因为

3:36 · Why Memory Is Still Unsolved

3:41你知道,目前我们基本上是在用胶带把它粘在一起,你知道,比如晚上做那种梦境循环之类的东西。>> 没错。梦境循环确实很酷,我们以前会想到这个,和情节记忆的巩固有关。实际上,那正是我博士期间研究的内容——海马体是如何运作和整合新知识到现有知识库中的。大脑在这方面做得非常出色非常好。它通过……你知道,在睡眠期间,尤其是类似 REM 睡眠的阶段,重放那些重要的经历片段,这样你就能从中学习。事实上,我们最早的 Atari 程序 DQN,它能够掌握 Atari 游戏的方式之一就是通过做经验回放。所以我们算是从神经科学那里借鉴了这个想法,然后多次重放成功的轨迹。你知道,那是 2013 年的事了,现在回看,算是 AI 的黑暗时代了。那确实是一个非常重要的突破,而且我同意你的看法,我们现在基本上是在用胶带粘。就像,把所有东西都塞进上下文窗口里。

4:38但这似乎有点……不够令人满意,对吧?实际上,即使我们研究的是机器而不是生物大脑,所以你理论上可能有百万甚至千万大小的上下文窗口或记忆,而且它可以做到完美无缺,但仍然有一个查找和找到与你当前需要做出的具体决策真正相关的内容的成本。而且这个成本是不可忽视的,即使你理论上可以存储所有东西。我认为在记忆等领域还有很大的创新空间。是的。我的意思是,让人惊讶的是,一百万 token 的上下文窗口实际上感觉比……我的意思是,说实话,它已经足够大了。你可以做很多…… >> 嗯,它对于大多数需要它发挥作用的事情来说确实足够大了。我是说,如果你把上下文窗口想象成相当于工作记忆,你知道,人类有……我们有几个数字的容量,大概十几个数字吧,你知道,平均大概七个。而我们有一百万甚至一千万的上下文窗口,但问题是我们试图把所有东西都存储在里面。你知道,不重要的东西、错误的东西,全部都塞进去。目前这种方式相当粗暴,这感觉不太对。然后问题来了,如果你现在要处理实时视频,而你只是简单地记录所有 token,那一百万 token 其实也没多少。大概只有 20 分钟左右。所以实际上你需要更多,如果你想要一个能理解你的……你知道,你的过去一两个月生活中发生了什么。DeepMind 历史上一直很重视强化学习和搜索,AlphaGo、AlphaZero 和 MuZero。这种理念在多大程度上体现在你们今天构建 Gemini 的方式中?

6:14 · How AlphaGo Shaped Gemini

6:21强化学习仍然被低估了吗?是的,我认为可能确实被低估了。它算是起起伏伏的。你知道,我们从 DeepMind 创立之初就在研究 Agent。事实上,我们当初也说了我们就是在做 Agent。所以所有的 Atari 工作和 AlphaGo,以及最具体的来说,它们都是 Agent 系统,我们的意思是那些能够自主完成目标的系统,能够做出主动决策,制定计划。当然,我们是在游戏领域做这件事,为了让问题可控,然后做越来越复杂的游戏,比如 AlphaGo 之后的 StarCraft——AlphaStar。所以我们基本上攻克了市面上所有的游戏。然后当然,问题是——你能不能把这些模型泛化成世界模型或语言模型,而不仅仅是简单游戏甚至复杂游戏的模型。这就是过去几年的事情了。但实际上,你可以把我们今天做的很多事情,所有领先的模型带有思考模式和思维链推理的,都可以看作是 AlphaGo 当年开创的那些理念的回归。

7:26实际上我认为我们当年做的很多工作在今天仍然相关,我们正在以更通用的方式大规模重新审视一些旧的想法,包括蒙特卡洛树搜索和其他一些增强强化学习的方法。我认为 AlphaGo 和 AlphaZero 中的很多想法与我们现在的基础模型所处阶段真的非常相关。而且我认为其中很多东西就是我们在未来几年将会看到的进步。我有一个问题,显然今天你需要越来越大的模型才能越来越聪明,但我们也在看到蒸馏技术的成功,更小的模型可以变得相当快。我认为你们有非常厉害的

8:06 · Why Smaller Models Are Getting So Powerful

8:13flash 模型,大概有 95% 的前沿模型能力,但价格只有十分之一。是这样吗?我认为这是我们核心优势之一。我的意思是,你必须构建最大的模型才能拥有前沿能力。但是,我认为我们最大的优势之一就是非常快速地将这些能力蒸馏到越来越小的模型中。显然,你知道,我们发明了这种蒸馏方法,Jeff 和 Oriol 等人做的,我们在这一领域仍然是世界顶尖的。而且我们也有巨大的需求来做这件事,因为我们要服务可能是最大的 AI 应用场景。显然,搜索方面有 AI overviews 和 AI mode,然后是 Gemini 应用,现在 Google 的每一个产品,你知道,Maps、YouTube 等等都融入了 Gemini 或与 Gemini 相关的技术。所以那是数十亿用户,十多个拥有十亿用户的产品,它们需要被极其快速、高效、低成本地提供服务,而且要低延迟。所以这给了我们一个非常重要的动力来让这些 flash 和甚至更小的模型、flash light 模型变得极其高效。希望这最终能对你们所有人的工作负载真的有用。我很好奇这些小模型到底能变得多聪明。蒸馏过程有极限吗?比如一个50B 或 400B 的模型能和今天的巨型模型一样聪明吗?是的,我不认为我们已经达到了任何类型的……或者至少我们中没有人知道我们是否已经达到了任何类型的信息极限。我的意思是,也许在某个时候会是这种情况,存在一个信息密度的上限,我们

9:59无法突破。但我认为就目前而言,我们的假设是,你知道,在我们发布一个领先的 pro 模型或前沿模型之后,半年到一年,你就会在那些非常小的、几乎是边缘端的模型中拥有同样的能力。你也可以在我们的 Gemma 模型中看到一些这样的优势,希望你们都在享受我们的 Gemma 4 模型,我认为它们在各自的尺寸下真的很厉害。所以,这同样使用了很多这种蒸馏技术,以及如何让这些非常小的模型变得极其高效的想法。所以我目前还看不到任何理论上的极限。我认为我们离那还很远。这太厉害了。我的意思是,这真的很棒。是的。嗯,你知道,我们现在看到的一个比较奇怪的现象是,工程师大概能做到 6 个月前 500 到 1000 倍的工作量。我是说,这个房间里的人,有些人正在做到大约 1000 倍的

10:46 · The 1000x Engineer

10:56工作量,就像 Stevie Yegge 谈到的那样。是 2000 年代 Google 工程师工作量的 1000 倍。我认为这非常令人兴奋。我的意思是,我认为小模型有很多用途。一方面显然是成本,但速度可以带来,你知道,如果你想想编程或其他事情,你可以更快地迭代,特别是如果你在和系统协作的话。我认为对于快速系统有大量需求,这些系统可能不是最前沿的,就像你说的,大概 95%、90%,但这完全足够好了,而且实际上通过迭代速度可以赢回超过那 10% 的差距。另外我认为另一件大事是在边缘端运行这些模型,同样是为了效率,但也为了隐私和安全。如果你想想你可能运行这些系统的各种设备,这些设备处理非常个人化的信息,也可以想想机器人领域。你知道,家里的机器人。我认为你会需要非常高效、非常强大的本地模型,也许它们会和云端中一些更大的前沿模型进行协作编排,但你只在特定情况下才会委托给云端。而且也许你,你知道,你在本地处理所有的音视频流,那些数据都留在本地。我可以想象那会是一个非常好的最终形态。Y Combinator School 回来了。我们正在精心挑选全球最有潜力的Builder,飞到旧金山参加 7 月 25 日和 26 日的活动,讨论最前沿的科技。现在就申请名额吧。好了,回到视频。回到上下文和记忆的话题,模型目前是无状态的,但是,你知道,比如

12:39对于使用持续学习模型的开发者来说,体验会是什么样的?比如,你知道,你有没有想过怎么驾驭它?我觉得这真的很有趣。我认为目前缺乏持续学习是阻碍 Agent 完成完整任务的瓶颈之一。你知道,我

12:40 · Continual Learning and the Future of Agents

12:56认为它们目前对任务的某些方面确实很有用,你可以把它们拼接起来做一些很酷的东西,但它们不太能适应你所处的具体上下文。我认为这是它们真正实现那种「发射后不用管」能力的缺失拼图,它们自己就能搞定一切。你知道,我认为它们需要能够学习你将它们放入的具体上下文。所以我认为我们必须攻克这个问题才能实现真正的通用智能。推理方面我们处于什么阶段?所以,模型现在可以做到非常令人印象深刻的思维链,但它们仍然会在一个聪明的大学生不会出错的地方犯错。推理方面具体需要改变什么?你预期推理方面会有什么进展?在思考范式方面还有很多创新空间,我想这样说。同样,我认为我们目前做的还相当……我们做的还比较

13:32 · Why AI Still Fails at Basic Reasoning

13:44简单化,相当粗暴。可以想象,我认为有很大空间,比如,监控思维链,也许在思考过程中途介入。我经常对我们的系统和竞争对手的系统有一种感觉,它们几乎在过度思考。它们几乎陷入了某种循环之中。比如,我有时候喜欢做的一件事就是和 Gemini 下国际象棋。你知道,所有领先的基础模型在游戏方面都相当差,这其实挺有趣的。看思维链的痕迹非常酷,因为这些是可以被很好理解的,你知道,我可以很快判断它是否在走偏,而且它的思考过程是否有效是可以被验证的。所以我们看到的是,你知道,有时候它会考虑一步棋,它会意识到这是一步臭棋,但它找不到更好的选择,所以它又回到那步棋然后还是走了那步。所以,你知道,在一个非常精确的推理系统中你不应该看到这种情况发生。所以我认为仍然存在相当大的差距,但可能只需要一两个调整就能修复这类差距,澄清一下。但我认为这些差距的存在是相当明显的。这就是为什么你会看到这种参差不齐的智能。你知道,一方面,它能解决 IMO 的金牌问题,这是超级难的,但另一方面另一方面,正如我们都看到的,它仍然会在某些情况下犯基础的小学数学错误,对吧?或者说基础的推理错误。所以我觉得,关于它对自己思维过程的一种内省能力,好像还缺点什么。

15:24好像确实还缺了点什么。Agents 现在真的很火。有人可能会说这是炒作。我个人认为才刚刚开始。[laughter] 这太疯狂了。DeepMind 内部的研究告诉你,Agent 的实际能力现在到底在什么水平?跟外面那些炒作相比怎么样?我觉得我们——我

15:33 · Are Agents Overhyped or Just Getting Started?

15:40同意你的看法。我觉得我们才刚起步。你必须有一个主动的系统,能够主动替你解决问题,才能达到 AGI。这一点我们一直很清楚。所以 Agent 就是那条路。我觉得我们才刚刚开始发力。我觉得我们所有人都在摸索——怎么最好地和它协作,而你在很多方面都是走在前面的,在你自己的个人实验中。我相信你们很多人也在做类似的事情。问题是怎么把它融入你的工作流,不是那种锦上添花的东西,而是真正能做一些根本性的事情。我的感觉是,目前我们都在实验我们在尝试很多东西,但可能最近几个月才开始找到真正有价值的场景。而且技术可能也只是刚刚好到那个程度,对吧?不再是那种玩具式的、炫酷的演示,而是真正能为你的时间、你的效率带来价值的。我经常在想,我看到很多人让几十个 Agent 跑四十个小时,但我不确定我看到的产出已经能证明那个投入是值得的。

16:45但我觉得这一天会来的。所以我们仍然处在实验阶段。我们还没有看到一个 AAA 级游戏登上应用商店排行榜,是完全靠实时编码做出来的,对吧?我见过,我也写过代码,我相信在座很多人——我们都做过一些漂亮的小演示,确实很惊艳,现在我半小时就能做一个 Theme Park 的原型,而当年我 17 岁的时候花了 6 个月。这确实很震撼。而且我觉得——我有一种感觉,如果我整个夏天都投入进去,可能真的能做出一些了不起的东西,但它仍然需要工艺,需要人的灵魂和品味融入其中。我觉得这一点——你必须确保你在构建任何东西的时候仍然注入这些。而且我觉得,现在还是能看出差距的,因为为什么我们还没有看到一个小孩做出一款销量一千万的爆款游戏呢?考虑到大家投入的精力,这应该是可能的。所以某些东西还是缺失了。也许是流程的问题,也许是工具的问题。我不太确定。在座的各位可能比我更清楚,因为你们肯定都在做这些实验,但我还没有看到那个结果——那种我期望中的、真正实现完整价值的结果。不过我觉得接下来 6 到 12 个月内会出现。还有一部分问题是,有多少会是自主完成的,对比——我觉得我们不会先看到全自主。我们实际上可能先看到的是这个房间里的人效率提升到 1000 倍,然后 >> 那才是你应该先看到的。然后你们中的很多人,你们会做出游戏公司或者其他类型的公司,用这些工具做出一些

18:16畅销应用、畅销游戏。那才是你应该先看到的。然后越来越多的部分会被自动化。我的意思是,这里面有人的参与,而那个人可能还不太愿意说这是 Agent 做的。我觉得

18:31 · Can AI Become Truly Creative?

18:32部分原因可能是——我们想聊聊创造力这个话题。我经常举的例子是我们做过的 AlphaGo。大家都知道,非常著名的第二局的第 37 手。对我来说,我在等一个那样的时刻来启动科学项目,比如 AlphaFold。我们从首尔回来那天就启动了 AlphaFold,到现在已经 10 年了。所以我接下来要去韩国庆祝 AlphaGo 的十周年。但仅仅走出第 37 手是不够的。确实很酷,也很有用,但它能发明围棋吗?这才是我想要的——一个能发明围棋的系统,如果你给它一个高层次的描述,比如:一个你五分钟就能学会规则,但需要很多辈子才能精通的游戏。它在美学上很美,但你一个下午几个小时就能玩。所以,你可以想象我会给出这样一个高层次描述,然后我期望得到的回报是——围棋。

19:33对吧?但显然今天的系统还做不到。那问题是为什么?我觉得还缺了点什么。不过,这个房间里可能有人会做出来。>> 那答案就是什么都不缺,只是我们使用系统的方式不对。这可能就是答案。也许今天的系统其实已经有这个能力了,只要你有一个足够有创造力的天才在使用它,给它注入项目的灵魂,并且对工具有足够的熟悉度,几乎达到人机合一的境界。我可以想象这种事情会发生,如果你整天整夜地实验这些工具——可能你们中很多人就是这样——然后你把这种经验和真正的深层创造力结合起来,可能就会做出更不可思议的东西。换个话题,聊聊开源。我是说开源和开放权重。最近发布的 Gemma,你们做出了非常强大、开放、可本地运行的模型。你觉得这意味着什么?AI 会不会变成

20:26 · Open Models, Gemma, and Local AI

20:35掌握在用户手中的东西,而不是主要在云端?这会不会改变谁能用这些模型来构建东西?我们一直大力支持开源和开放科学,你一开始提到了 AlphaFold,我们把它全部免费开放了,我们所有的科学工作至今仍在顶级期刊上发表。我们想打造同级别中世界领先的模型。所以我们希望 Gemma 做到了这一点,而且我们会持续投入这条路,希望大家都能去实验、构建、享受使用 Gemma。我想现在已经大概 4000 万次下载了,仅仅两周半的时间。所以我们非常兴奋。另外我觉得很重要的一点是,在开源领域要有西方的技术栈,你知道,显然很多中国模型都非常优秀,而且目前在开源方面确实领先我们认为 Gemma 在它的尺寸级别上各方面都非常有竞争力。对我们来说,确实存在资源、人才和算力的问题,没有人有足够的闲置算力去同时做两个——你知道,最大规模的前沿模型,对吧?带有不同属性的。这确实很难。但目前我们决定的策略是,我们的边缘模型——用于 Android、眼镜和机器人的那些——最好是开放模型,因为反正它们一旦部署到设备上就容易泄露。

21:57所以还不如干脆完全开放。对吧?所以我们做了个决定,在我们称之为 nano 级别的层面统一处理。所以这对我们来说实际上在战略上也是合理的。而且我们希望尽可能多的人基于它来构建,当然我们自己也会在上面继续建设。刚才在我们上台之前,我给你展示了一个我的 Samantha 的演示——就是《Her》里的那个。>> 是的。嗯,在你面前演示东西对我来说还挺紧张的。是的,效果很好。

22:26 · Why Gemini Was Built Multimodal

22:29而且居然成功了,太棒了。Gemini 从一开始就是多模态构建的,我花了很多时间跟各种模型打交道。嗯。我的意思是,那个上下文深度,加上直接语音到模型的工具调用——没有任何其他模型能比,毫无悬念,就是最好的。>> 对。对,我觉得 Gemini 系列仍然有一个被稍微低估的方面,就是我们从一开始就把它做成了多模态的。这在一开始确实增加了不少难度,因为不能只专注于文本。但我们相信长期来看这会带来回报。我觉得我们现在正在看到这一点,比如世界模型构建——像我们在 Gemini 之上构建的 Genie 那样的东西。我觉得这对机器人领域会非常重要。这就是为什么 Gemini Robotics——你们很多人可能都玩过了。我认为机器人模型会建立在多模态基础模型之上,而 Gemini 在多模态方面如此强大,我们认为这是一个竞争优势。

23:27我们在 Waymo 这样的项目上越来越多地使用它,另外如果你想象一下那些跟着你进入现实世界的设备和数字助手——可能在你的手机、眼镜或其他设备上——它需要理解你周围的物理世界以及直觉物理和你所处的物理环境,这正是我们的系统非常擅长的,我觉得你也在使用中体会到了这一点。我们会继续在这方面投入,我认为在这类问题上我们的模型遥遥领先。推理成本在快速下降。当推理本质上免费的时候,什么会成为可能?这会怎样改变你的团队实际

24:08 · What Happens When Inference Gets Cheap?

24:09优化的方向?嗯,我不确定推理会不会真的变成免费的。有杰文斯悖论之类的——我觉得我们所有人最终都会把手头所有能用的算力都用了。你可以想象数百万个 Agent,成群的 Agent 协同工作。这是使用算力的一种方式;或者你也可以想象单个 Agent 或较小规模的 Agent 组合,往多个方向思考,然后做集成。我们在实验所有这些东西,你们很多人可能也是。所有这些会消耗掉任何可用的推理算力。我的意思是,也许有一天成本可以接近零——当然,如果我们解决了核聚变,或者超导体,或者最优电池,或者其中一些技术,我觉得我们用材料科学能做到。能源成本将趋近于零,但芯片的物理制造等方面仍然存在成本。至少未来几十年还是会有某种瓶颈。所以如果真的是这样,推理端仍然需要配给。你仍然需要高效地使用它。是的。幸运的是,小模型正在变得越来越小、越来越聪明,这太棒了。

25:21我们观众里有很多生物和生物科技的创始人。我能看到几位。AlphaFold 3 把我们从蛋白质带到了更广泛的生物分子。我们离建模完整的细胞系统有多近?还是说那仍然是一个本质上更难的问题,属于完全不同的

25:24 · From AlphaFold to the Virtual Cells

25:37级别?嗯,Isomorphic Labs 是我们在完成 AlphaFold 2 之后从 DeepMind 分拆出来的。它的发展非常好。它不只是 AlphaFold。AlphaFold 只是药物发现流程中的一个环节,你们很多人都知道,但我们在做的是相关的生物化学和化学工作,来设计具有正确属性的化合物等等。我们很快会有一些重大公布,来聊聊这个方向的进展。我觉得一切进展得很顺利。最终你想要的是一个完整的虚拟细胞。我在很多科学演讲中都谈过这个——一个可以完整运行的细胞模拟,你可以对其进行扰动,然后输出的结果要足够接近实验数据,才有实用价值。对吧?你可以省掉很多搜索步骤,生成大量合成数据来训练其他模型,然后这些模型就能预测真实细胞的情况。我觉得我们大概离虚拟细胞还有 10 年左右,一个完整的虚拟细胞。你知道,我们正在起步——在 DeepMind 的科学这边,我们首先在做的是虚拟细胞核。因为细胞核相对来说比较自包含。这些事情的关键在于,你能不能从复杂性中切出一块来,你知道,最终你想要建模一个人体,但你能不能把它建模到合适的精度级别?你能切出哪一块,使得它足够自包含——你可以建模并近似它的输入输出——然后专注于那个自包含的系统。从那个角度来看,细胞核很有意思。另一个问题是,目前数据还不够。你需要数据——我跟很多顶级科学家聊过,他们做电子显微镜和其他成像技术。如果

27:27我们能在不杀死细胞的情况下对活细胞成像,那将是颠覆性的,因为那样你就可以把它转化成一个视觉问题,而这是我们擅长的。对吧?但目前,至少据我所知,还没有什么技术能在纳米级分辨率下——在不破坏细胞的情况下——观察一个活的、动态的细胞,看到所有的相互作用。你在那个分辨率下可以拍静态图像当然,现在已经可以拍得非常精细了,这确实很令人兴奋。但这还不够,不足以把它转化成一个复杂的视觉问题。所以这是解决方案的一种可能路径。可以是硬件驱动的数据解决方案,也可以是我们构建更好的可学习的动态系统模拟器。那是更偏建模的解决方式。你还研究了很多其他科学领域,不只是生物。材料科学、药物发现、气候建模、数学。如果要你排名,未来 5 年哪个科学领域会发生最戏剧性的变革,你的名单是什么?

28:24 · AI as the Ultimate Tool for Science

28:30>> 全都太令人兴奋了,这就是为什么——我的意思是,那一直是我最大的热情所在,也是我整个职业生涯从事 AI 工作的原因——三十多年了——就是把 AI 当作终极工具。我一直认为 AI 会是科学的终极工具,用来推动如此先进的科学理解、科学发现,以及医学等领域,还有我们对周围宇宙的理解。实际上,当我们提到我们最初表述使命的方式——这也是我们至今仍在用的方式——分两步。第一步是解决智能,构建 AGI;第二步是用它来解决其他所有事情。后来我们不得不稍微调整了一下说法,因为人们会说,'你真的要解决所有其他事情吗?'我们确实是这个意思,而且我觉得人们现在开始理解那意味着什么了。具体来说,我的意思是解决科学中我称之为'根节点问题'的东西——就是那些能解锁全新分支或发现路径的科学领域。AlphaFold 就是我们想做的事情的典型例子。全世界有超过 300 万研究人员在使用 AlphaFold,几乎地球上每一个生物学研究者都在用它。我一些制药行业高管朋友告诉我,从现在开始,几乎每一种新药在药物发现过程中的某个环节都会用到 AlphaFold。这是我们非常自豪的事情,也是我们希望通过 AI 产生的那种影响力。但我觉得,这只是开始。

29:54我真的不觉得有任何科学或工程领域是 AI 帮不上忙的。你提到的那些领域,我觉得我们差不多都处在一个 AlphaFold 1 的阶段——我们已经有了很有希望的结果,但还没有完全解决那个领域的终极挑战。不过我认为我们会未来几年我们在你提到的所有领域都有很多可以聊的——材料科学,我觉得非常令人兴奋,一直到数学。在科学领域,我的感觉是它有种普罗米修斯式的意味,就像我们拥有了这样一种能力。当然,我的意思是,伴随着这种能力而来的还有包括普罗米修斯的寓言所警示的那样,我们必须谨慎地使用这些能力,注意用途,以及这些工具可能被滥用的风险。在座的很多人都在尝试创办将AI应用于科学的公司。对他们来说,一个真正推动前沿的创业公司,和那种只是把基础模型的API包一层就号称做AI for Science的公司,在你看来区别在哪里?

30:43 · Advice for Founders

30:49嗯,我觉得有一件事我会推荐——我也在想这个问题,我记得你之前也跟我提过。如果我今天坐在你的位置上,在Y Combinator看项目,我会怎么做?首先你必须要能判断AI技术的发展方向,这本身就是一个难点。但我确实认为,将AI的发展方向与某个其他深层技术领域结合起来,空间是巨大的。我觉得最佳切入点就在那里——不管是材料、医学,还是其他真正有难度的科学领域。我认为这种跨学科的团队,尤其是涉及原子世界的那些,至少在可预见的未来不会有什么捷径。这些领域相当安全,不会轻易被基础模型的下一次更新所淹没。所以如果你在寻找这样的方向,我认为这是最具防御性的领域之一。我一直都很喜欢深科技,所以我对深科技是有些偏好的。我觉得真正持久、有价值的东西没有一个是容易的。所以我一直被深科技所吸引。显然,AI在2010年我们刚起步的时候也是这样,对吧?当时人们觉得,我们知道这东西不行——投资者就是这么跟我说的。甚至在学术界,它也被认为是一个非常小众的领域,就是那种我们在90年代已经尝试过了、知道行不通的东西。但是,如果你对你的想法有信念和信心——为什么这次不一样,或者你背景中有什么特别的组合——最理想的情况是你在两个领域都是专家,既是机器学习也是你要应用的另一个领域,或者你能组建一个具备这种专业知识的创始团队,我认为那里可以产生巨大的影响、创造巨大的价值。这是一个非常重要的信息。我的意思是,甚至……说起来很容易忘记——基本上,一旦你做成了,你就做成了。但在你做成之前,

32:42所有人都在反对你。哦,当然。意思就是,没有人相信你。所以我认为你必须做自己真正有热情的事情。对我来说,无论发生什么,我都会做AI。我很早就认定了这是我能想到的最具深远影响的事情。结果确实如此,但当初也可能并非如此。也许我们早了50年。而且这也是我能想到的最有趣的工作方向。所以即使今天我们仍然,你知道,待在某个小车库里面,AI还是不太行,我依然会继续尝试——也许我会回到学术界什么的,但我会找到某种方式继续做下去。所以说,AlphaFold就是你坚持追求并取得成功的一个典型案例。你觉得什么样的科学领域

33:30 · The AlphaFold Breakthrough Pattern

33:30已经成熟到可以迎来AlphaFold式的突破?是否存在某种模式、某种特定的目标函数?比如……我应该在有空的时候把这个写下来,但我从我们做过的所有Alpha项目中学到的经验,特别是AlphaGo和AlphaFold,就是我认为我们现有的技术和我喜欢寻找的问题,最大的特点就是:如果一个问题可以被描述为一个巨大的组合搜索空间,那就非常适合。某种程度上越大越好,这样暴力搜索或者特制算法都解决不了。围棋的落子就是如此蛋白质的不同构型也是如此,两者的可能性都比宇宙中的原子还多。然后,你需要有一个清晰的目标函数。比如,你可以把它理解为最小化蛋白质的自由能,或者赢得围棋比赛。所以你需要能够明确地定义你的目标函数,这样你才能不断攀登优化。然后,你还需要足够的数据,或者能够生成大量分布内合成数据的模拟器。如果这些条件都满足,那么我认为用今天的方法,你就可以在很大程度上解决并找到你所需要的那个大海捞针般的解决方案。

34:44顺便说一下,药物发现也是同样的道理,对吧?一定存在某种化合物能治愈某种疾病——只要能找到它。只要能找到就好了。而且没有副作用等等。只要物理定律允许,那么唯一的问题就是如何以高效的方式、可行的方式找到它。我认为我们实际上第一次证明了——通过AlphaGo——这些系统能够找到那种大海捞针般的答案。在那个例子中,就是完美的围棋落子。如果往更高一层想,我们一直在谈论人类利用这些方法来创造AlphaFold,但还有更高的一层,那就是人类利用AI来探索可能的假说空间。我们离AI系统能够进行真正的科学推理——而不仅仅是在数据上做模式匹配——还有多远?

35:20 · Can AI Make Real Scientific Discoveries?

35:32>> 我们已经很接近了。嗯,我们正在研发这类通用系统——比如我们有一个叫co-scientist的系统,还有像AlphaFold这样的算法,能比基础的Gemini做得更多。显然,所有前沿实验室都在朝这个方向尝试。但到目前为止我还没见过——我们都在琢磨同样的问题,比如比国际数学奥林匹克稍难的数学题之类的——我还没有见过任何真正的、重大的发现。这是我个人的看法。我认为这即将到来。这也许跟我们之前讨论过的创造力有关——真正超越已知边界的创造。显然,到了那个阶段就不仅仅是模式匹配了,因为根本没有模式可以匹配。它也不只是外推。它是某种类比推理。我认为目前的系统还不具备这种能力,或者至少我们还没有以正确的方式使用它们来实现这一点。所以我经常用科学领域的说法来描述这个标准:它能不能提出一个真正有趣的假说,而不仅仅是解决一个已有的问题?我说'仅仅'的时候,我们说的可不是解决黎曼猜想之类的——那当然也很了不起——但那是千禧年大奖难题之一,也许我们离做到那个还有几年时间。

36:47不过我个人想解决的是P等于NP的问题,那是我的最爱。但比那更难的是——你能不能提出一组新的千禧年大奖难题,让顶级数学家们认为它们同样深刻、同样有意义、同样值得用一生去研究和解决的难题。对吧?我觉得这是更高一个层次的难度。我们目前还不知道怎么做。但我也不认为这有什么魔法般的神秘,我确实相信这些系统最终会能做到。也许我们还缺一两样东西。然后我们会怎么测试呢——有时候我叫它'爱因斯坦测试'——就是你能不能用一个知识截止到1901年的系统来训练,然后看它能不能像爱因斯坦在1905年那样提出包括狭义相对论在内的那些发现,你知道的他的奇迹年。它能不能做到?对吧?我觉得我们可以跑一下这个测试。也许我们就应该跑一下,不断检验这是否可行。一旦做到了,我认为我们就到了这些系统能够发明全新的、真正新颖的东西的边缘。那么,最后一个最后一个问题。在座有很多技术功底很深的人,他们想做些事情,也许接近你所创造的规模——你知道,那是世界上最大的AI项目之一,而且你这么多年来一直是先驱。所以,我想在座的每一个人

37:59 · What to Build Before AGI Arrives

38:08都在发自内心地感谢你和DeepMind的团队。谢谢你。关于在前沿领域构建东西,你现在知道了什么是你希望在25岁时就知道的?我觉得我们已经聊了其中一些。实际上你会发现,去攻克那些困难的、深入的问题,在某些方面并不比去做那些浅层的、简单的、表面的东西更难。它们只是难的方式不同。每种事情都有各自困难的地方。但我觉得,人生苦短,你知道,你的时间和精力都是有限的,不如把你的生命投入到一个真正有意义的事情上——如果你没去做的话,如果你没有去推动它,世界就会因此不同。我会用这个视角来看待。另一件事就是——我们之前谈到深科技——我非常喜欢跨学科的工作,而且我认为在未来几年,不同领域的交叉融合会变得更加普遍,去发现这些领域之间的联系。而且有了AI,做这件事会变得更容易。然后我想说的最后一点是,你知道,取决于你对AGI时间线的判断——我的大概是在2030年左右——那么如果你今天开始一段深科技之旅,真正的深科技在我看来通常需要十年的旅程。那么你现在就必须考虑到AGI可能在这个旅程的中间出现。这意味着什么?这不一定是坏事,但你必须把这个因素考虑进去。对吧?它能不能利用AGI?AGI系统会怎么处理你正在做的事?这有点像你之前说的AlphaFold和通用AI系统的关系。我能预见的一件事是,Gemini、Claude或者这些通用

39:55系统会把AlphaFold这样的专业化系统当作工具来使用。我不认为我们会把所有东西都塞进一个巨型大脑里,因为那样会有太多性能回归——如果我把所有蛋白质的东西都放进Gemini里,那没什么意义。我们不需要Gemini来做蛋白质折叠。回到你说的信息效率问题,这肯定会反过来影响它的语言能力之类的能力,而且是负面的。所以好得多的方式是拥有真正优秀的通用工具使用模型——它们甚至可以训练那些专用工具,但这些工具会是独立的系统。所以我觉得思考一下这种架构的影响很有意思,然后再想想你今天应该构建什么。还有物理层面的东西也是,比如你会建什么样的工厂?什么样的金融系统?等等。所以我认为你真的需要认真对待这件事。一方面要想象那个世界会是什么样子,然后构建一些即使AGI在中途出现也依然有用的东西。

40:53以上就是Demis Hassabis。

通用人工智能持续学习AlphaFold记忆系统蒸馏技术AI 智能体科学发现深科技创业多模态 AIAlphaGo