本集简介
保罗·克里斯蒂亚诺是对齐研究中心(Alignment Research Center)的负责人。此前,他曾担任美国人工智能安全研究所(US AI Safety Institute)的人工智能安全主管。再之前,他在 OpenAI 领导对齐工作,并在那里发明了 RLHF(基于人类反馈的强化学习)。他最近加入了 OpenAI 的董事会(尽管在此处他以私人公民身份发言)。
保罗认为,按照当前的轨迹(假设没有任何减速),我们在一年内出现足以颠覆政府、强大到足以称为超级智能的人工智能的可能性为三分之一。(他阐述了一个具体的场景。)
他认为,实验室应在确保其模型权重和研究机密安全之前,暂停进一步的算法进展。否则,中国可能会在“智能爆炸”期间直接窃取超级智能,而一旦看到模型失控,实验室将再也无法减速。
他还解释了在智能爆炸期间人工智能将如何被训练,以及为什么即使完全在数据中心内训练的系統,其能力特征也可能使人类几乎没有机会与其竞争或控制它。
他讨论了对齐计划——基本上,就是制造一个真正按我们要求的方式去做我们想要之事的超级智能。修复奖励黑客行为(reward hacks)和构建更好的评估器(graders)将有助于接下来的几个模型迭代,但他认为目前没有任何单一方法有超过五成的把握让我们能够控制超级智能。希望人工智能能在智能爆炸期间找到这个问题的解决方案。
赞助商
- * Jane Street 终于开始重视形式化方法(formal methods)。Jane Street 技术小组联合负责人 Ron Minsky 告诉我,直到最近,形式化方法还被认为成本过高而不值得投入。但编码代理(coding agents)使其更容易应用,同时也提高了代码验证的重要性。因此,Jane Street 正在伦敦和纽约办公室招聘形式化方法工程师。如果你感兴趣,或者想观看我与 Ron 的完整对话,请访问 janestreet.com/dwarkesh
- * Antithesis 不是另一种基于大语言模型的代码审查工具。它不会试图抽象地推理某个 PR(拉取请求)可能如何破坏你的系统。相反,它只是运行你的代码。你首先定义系统绝不能违反的规则。然后,每当代理提出更改时,Antithesis 会将你的代码放入数千个对抗性环境中运行,测试它是否仍然遵守你的规则。如果你想尝试,请访问 antithesis.com/dwarkesh 并使用优惠码 DWARKESH 享受首月五折优惠。
- * WorkOS 允许你为代理提供自己的注册流程。这很重要,因为代理倾向于选择它们可以立即使用的工具,而不是那些需要人类注册的工具有趣的是,提供这种专用路径很容易:如果你已经使用 WorkOS 进行登录,只需在 WorkOS 仪表板中打开“代理注册”开关即可。启用后,你可以决定代理可以自主执行哪些操作,以及哪些操作需要等待它们为之工作的人介入,所有这些都基于你已经设置的权限。了解更多请访问 workos.com/authkit
时间戳
距离出现能够颠覆政府的人工智能,可能只有12个月的时间了
为什么人工智能可能想要接管
人工智能接管可能发生的方式
如果实验室在缺乏安全措施的情况下继续竞赛,中国只会窃取超级智能的权重
现在暂停而非稍后暂停的理由
超级智能将擅长从现实世界经验中学习
跨越模拟到现实的差距
METR 表示人工智能进展翻倍,为何收入增长放缓?
我们最好的计划是在飞行中建造飞机
这是一个公开剧集。如果你想与其他订阅者讨论此内容或获取额外剧集,请访问 www.dwarkesh.com