如果 AI 真的找到了治愈癌症的方法,但全世界没有一个人能解释它为什么有效,我们还要不要用?
陶哲轩昨天在加州理工的 Math 2.0 演讲���,提出了一个很有意思的思想实验。
假设某个超级 AI 接到任务,要找到一种能通过三期临床试验的癌症疗法。经过大量计算,它设计出一种人类从未见过的化学药物组合。数学预测经过 Lean 形式化验证,最终药物也真的通过了三期临床。
但问题在于,没有任何人知道 AI 究竟是怎么找到它的。
陶哲轩问,在把这种药物注射进身体之前,你会不会希望至少有一个人类专家理解它的治疗机制?
有人对此提出反驳,如果药物真的有效,绝大多数癌症四期患者根本不会在乎有没有人理解它的原理。
我觉得这个反驳挺有力量的。
人类医学史上,本来就存在大量先发现疗效、后来才逐渐理解机制的药物。对于一个生命已经进入倒计时的人来说,能不能活下来显然比一套漂亮的理论解释重要得多。
但陶哲轩真正提出的问题,我觉得也不能这么轻易跳过。
Lean 可以验证数学推导,却无法保证数学模型完整描述了现实。三期临床可以提供很强的疗效证据,也无法排除所有长期风险。
我们过去一直默认,人类有能力理解、审查和验证自己创造的知识。但未来 AI 很可能会持续产出超出人类理解能力的成果,而且这些成果确实有效。
到那个时候,如果坚持必须先理解才能使用,我们可能会放弃真正有价值的发现。如果只看结果,又该如何防止 AI 利用验证体系本身的漏洞?
我个人倾向于接受前一种风险更小的路径,允许人类使用尚未理解的成果,同时建立足够独立、严格的实证验证体系。
毕竟,理解一种东西为什么有效,和确认它真的有效,本来就是两种不同的能力。