Anthropic CEO Dario Amodei发布万字长文-预测强人工智能的积极未来。描述了自己思考中的强人工智能的定义，详细介绍了强人工智能可能在五个核心方面对未来人类的积极作用。
文章的主要观点和建议：
主要观点
- 强大人工智能的潜力：强大的人工智能不仅有可能带来技术上的巨大进步，还能在多个层面上改善人类的生活质量。从生物学和医学的突破，到神经科学和心理健康的提升，再到经济发展和贫困的缓解，以及和平与治理的进步，AI的潜力是多方面的。
- 全球合作与责任：全球合作和责任是确保人工智能的好处能够惠及所有人的关键。发达国家的政策制定者和AI公司需要共同努力，确保技术进步不会加剧全球不平等。
- 伦理与透明度：在开发和部署人工智能系统时，伦理和透明度至关重要。我们需要确保这些系统的设计和使用是公正和透明的，以防止偏见和滥用。
- 长期经济和社会结构：随着人工智能的广泛应用，我们当前的经济和社会结构将面临重大挑战。我们需要开始思考和讨论如何在AI驱动的未来中重新定义工作和经济价值。
- 教育和公众意识：提高公众对人工智能及其潜在影响的认识是至关重要的。教育系统需要适应这一变化，培养下一代具备理解和应对AI时代挑战的能力。
- 国际安全和治理：随着人工智能技术的进步，国际安全和治理问题变得更加复杂。民主国家需要在国际舞台上保持优势，确保AI不被用于压迫和侵犯人权。
- 持续研究和创新：人工智能的发展是一个持续的过程，需要不断的研究和创新。我们需要投资于基础研究，探索新的应用领域，并确保技术进步与社会需求和伦理标准保持一致。
建议
- 全球合作：各国政府和AI公司应加强合作，确保技术进步惠及全球，特别是发展中国家。
- 伦理透明：在AI开发和部署过程中，应确保透明度和伦理标准，防止偏见和滥用。
- 长期规划：社会需要开始讨论和规划如何在AI驱动的未来中重新定义工作和经济价值。
- 公众教育：教育系统应适应AI时代的变化，培养下一代具备理解和应对AI挑战的能力。
- 国际安全：民主国家应在国际舞台上保持优势，确保AI不被用于压迫和侵犯人权。
- 持续创新：投资于基础研究和创新，确保技术进步与社会需求和伦理标准保持一致。
文章全文翻译：
我经常思考并谈论强大AI的风险。我担任CEO的公司Anthropic做了大量关于如何减少这些风险的研究。因此，人们有时会得出结论，认为我是一个悲观主义者或“末日论者”，认为AI将会主要是负面或危险的。其实我完全不这么认为。事实上，我关注风险的主要原因之一是，这些风险是我们与一个本质上积极的未来之间的唯一障碍。我认为，大多数人低估了AI潜在的巨大好处，就像我认为大多数人低估了风险的严重性一样。
在这篇文章中，我试图勾勒出这种好处可能是什么样子——如果一切顺利，拥有强大AI的世界可能会是什么样子。当然，没有人能确切或精确地预测未来，而强大AI的影响可能比过去的科技变革更加不可预测，因此这一切不可避免地将包含猜测。但我希望能提供至少是有教育意义和实用价值的猜测，即使大多数细节最终被证明是错误的。我之所以包括大量细节，主要是因为我认为具体的愿景比模糊抽象的讨论更能推进讨论。
然而，首先我想简要解释一下为什么我和Anthropic没有过多谈论强大AI的好处，以及为什么总体上我们可能继续主要讨论风险。特别是，我做出这一选择的原因是：
- 最大化影响力：AI技术的基本发展及其许多（不是全部）好处似乎是不可避免的（除非风险导致一切失败），并且主要由强大的市场力量驱动。另一方面，风险不是预定的，我们的行动可以极大地改变它们的可能性。
- 避免被视为宣传：AI公司谈论AI的所有惊人好处可能会让人觉得他们在进行宣传，或者试图分散人们对负面影响的注意力。我也认为，从原则上讲，花太多时间“推销自己的观点”对灵魂有害。
- 避免夸大其词：我常常被许多AI风险公众人物（更不用说AI公司领导者）谈论后AGI世界的方式所困扰，仿佛他们的使命是单枪匹马地引领人们走向救赎。我认为，将公司视为单方面塑造世界的主体，或将实际技术目标以宗教术语来描述，都是危险的。
- 避免“科幻”包袱：虽然我认为大多数人低估了强大AI的好处，但讨论激进AI未来的少数人群往往以过度“科幻”的语气（例如上传意识、太空探索或一般的赛博朋克氛围）来谈论这些话题。我认为这会导致人们对这些说法不够重视，并赋予它们一种不现实的感觉。明确一点，问题不在于所描述的技术是否可能或可能（主文章对此进行了详细的讨论）——而是这种“氛围”隐含地带来了许多文化包袱和未明言的假设，关于什么样的未来是可取的，各种社会问题将如何发展等。结果往往读起来像是一种狭隘亚文化的幻想，而对大多数人来说却令人反感。
尽管有上述所有担忧，我真的认为讨论一个拥有强大AI的美好未来是重要的，同时尽量避免上述陷阱。事实上，我认为拥有一个真正鼓舞人心的未来愿景是至关重要的，而不仅仅是应对危机的计划。许多强大AI的影响是对抗性的或危险的，但最终，我们必须为某种东西而奋斗，某种能让每个人都受益的正和结果，某种激励人们超越争执并面对未来挑战的东西。恐惧是一种动机，但仅靠恐惧是不够的：我们也需要希望。
强大AI的正面应用场景非常广泛（包括机器人技术、制造业、能源等），但我将重点放在少数几个我认为最有可能直接改善人类生活质量的领域。我最感兴趣的五个类别是：
- 生物学和身体健康
- 神经科学和心理健康
- 经济发展和减贫
- 和平与治理
- 工作与意义
我的预测按大多数标准来看将是激进的（除了科幻“奇点”愿景之外），但我真诚地表达了这些观点。我所说的每一句话都可能非常容易是错的（重申我上面的观点），但我至少尝试基于对各个领域可能取得的进展及其实际意义的半分析评估来支撑我的观点。我有幸在生物学和神经科学领域有专业经验，并且在经济发展领域也是一名有见地的业余爱好者，但我肯定会犯许多错误。写作这篇文章让我意识到，召集一群领域专家（生物学、经济学、国际关系等领域）来撰写一个更好、更知情的版本将是非常有价值的。或许可以将我的努力视为为这个群体提供一个起点。
基本假设和框架
为了使这篇论文更加精确和具体，明确界定什么是强大的AI（即5-10年的计时器开始的时间点），以及建立一个思考这种AI存在时影响的框架是非常有帮助的。
强大的AI（我不喜欢用AGI这个词） 是什么样的，何时（或是否）会出现，本身就是一个巨大的话题。这是我曾经公开讨论过的，也可以单独写一篇文章来探讨（我可能在某个时候会这么做）。显然，许多人怀疑强大的AI是否会很快建成，有些人甚至怀疑它是否会建成。我认为它最早可能在2026年到来，但也有可能需要更长时间。但在本文中，我希望暂时搁置这些问题，假设它将在不久的将来到来，并重点关注在此之后的5-10年会发生什么。我还想假设这样一个系统的外观、能力和交互方式，尽管在这方面存在争议。
强大的AI定义
我所指的强大AI是一个AI模型，形式上可能类似于今天的大型语言模型（LLM），但可能基于不同的架构，可能涉及多个交互模型，并且可能有不同的训练方式，具备以下属性：
- 纯智力：在大多数相关领域（如生物学、编程、数学、工程学、写作等）中，它的智力超过了诺贝尔奖得主。这意味着它可以证明未解的数学定理，写出极好的小说，从头编写复杂的代码库等。
- 接口：它拥有虚拟工作中人类可用的所有接口，包括文本、音频、视频、鼠标和键盘控制以及互联网访问。它可以进行任何由这些接口启用的操作、通信或远程操作，包括在互联网上采取行动、给人类指路、订购材料、指导实验、观看视频、制作视频等，所有这些任务的技能都超过世界上最优秀的人类。
- 任务执行：它不仅仅被动回答问题；相反，它可以接受需要数小时、数天或数周才能完成的任务，然后自主地去完成这些任务，就像一个聪明的员工一样，必要时会寻求澄清。
- 物理体现：它没有物理形态（除了存在于计算机屏幕上），但可以通过计算机控制现有的物理工具、机器人或实验室设备；理论上，它甚至可以为自己设计机器人或设备。
- 资源利用：用于训练模型的资源可以重新用于运行数百万个实例（预计到2027年集群大小将达到这一水平），模型可以以大约10倍至100倍于人类的速度吸收信息和生成动作。然而，它可能会受到物理世界响应时间或与其交互的软件的限制。
- 独立和协作：这数百万个实例可以独立执行不相关的任务，或者在需要时像人类一样协同工作，不同的子群体可以被微调以特别擅长特定任务。
我们可以将这总结为“数据中心里的天才国家”。
强大AI的能力和速度
显然，这样一个实体能够非常快速地解决非常困难的问题，但要准确估计其速度并不简单。两个极端的观点在我看来都是不成立的。
- 即时转型：有人认为，世界会在几秒或几天内迅速转型（“奇点”），因为超凡的智力会自我增强，几乎立即解决所有可能的科学、工程和操作任务。问题是，现实中存在物理和实际限制，例如建造硬件或进行生物实验。即使是新的“天才国家”也会遇到这些限制。智力虽然强大，但并非魔法尘埃。
- 技术进步饱和：相反，有人认为技术进步受到现实数据或社会因素的限制，超人智力并不会增加多少。这对我来说同样不可信——我可以想到数百个科学甚至社会问题，一大群非常聪明的人会大幅加速进展，尤其是当他们不仅限于分析，还可以在现实世界中采取行动时（我们假设的“天才国家”可以做到这一点，包括指导或协助人类团队）。
我认为真相可能是这两种极端观点的某种混合体，具体情况因任务和领域而异，细节非常微妙。我们需要新的框架来以富有成效的方式思考这些细节。
经济学框架
经济学家经常谈论“生产要素”：如劳动力、土地和资本。“边际回报”这个概念表明，在给定的情况下，某一要素可能是或不是限制因素——例如，空军需要飞机和飞行员，如果缺乏飞机，再多的飞行员也无济于事。我认为在AI时代，我们应该讨论“智力的边际回报”，并尝试找出哪些其他因素是智力的互补因素，当智力非常高时，这些因素成为限制因素。我们不习惯以这种方式思考——问“变得更聪明对这项任务有多大帮助，时间尺度是多少？”——但这似乎是理解拥有非常强大AI的世界的正确方式。
影响智力的因素
我猜测影响或与智力互补的因素包括：
- 外部世界的速度：智能代理需要在世界中互动以完成任务和学习。但世界的变化速度是有限的。细胞和动物以固定速度运行，实验所需的时间可能无法减少。同样的道理也适用于硬件、材料科学、与人的沟通，甚至现有的软件基础设施。此外，许多科学实验需要按顺序进行，每次实验都要从前一次实验中学习或建立。这意味着一个重大项目（如开发癌症治疗方法）的完成速度可能有一个不可减少的最小值，即使智力继续提高也无法缩短。
- 数据需求：有时缺乏原始数据，此时更多的智力也无济于事。今天的粒子物理学家非常聪明，提出了多种理论，但由于粒子加速器数据有限，缺乏数据来区分这些理论。即使他们是超级智能的，也不清楚他们会做得好多少——除了可能加快更大加速器的建设。
- 内在复杂性：有些事情本质上是不可预测或混沌的，即使是最强大的AI也无法比今天的人类或计算机更好地预测或解开它们。例如，即使非常强大的AI在一般情况下也只能稍微提前预测混沌系统（如三体问题）的行为。
- 人类约束：许多事情不能违反法律、伤害人类或扰乱社会。对齐的AI不会做这些事情（如果我们有未对齐的AI，我们又回到了讨论风险的话题）。许多人类社会结构是低效的，甚至是有害的，但要在遵守法律要求（如临床试验）、人们改变习惯的意愿或政府行为等约束条件下改变这些结构是很困难的。技术上可行但因监管或误解而影响受限的例子包括核能、超音速飞行，甚至电梯。
- 物理定律：这是第一个观点的更严格版本。某些物理定律似乎是不可打破的。不可能以光速以上旅行。布丁不能逆向搅拌。芯片每平方厘米的晶体管数量有一个极限，超过这个极限就会变得不可靠。计算需要每比特擦除的最小能量，限制了世界上的计算密度。
时间尺度的区分
还有一个基于时间尺度的区分。短期内的硬约束可能在长期内变得更加灵活。例如，智力可以用于开发新的实验范式，使我们在体外学习过去需要活体动物实验的内容，或建造收集新数据所需的工具（如更大的粒子加速器），或在伦理范围内找到绕过人类约束的方法（如帮助改进临床试验系统、创建临床试验程序较少的新司法管辖区，或改进科学以减少或降低人类临床试验的必要性或成本）。
因此，我们应该设想一个初始阶段，智力受到其他生产要素的严重限制，但随着时间的推移，智力本身会越来越多地绕过这些其他因素，即使这些因素永远不会完全消失（有些事情如物理定律是绝对的）。关键问题是这一切发生的速度和顺序。
有了上述框架，我将尝试回答引言中提到的五个领域的这些问题。
一、生物学与健康
生物学可能是科学进步最直接、最明确地改善人类生活质量的领域。在过去的一个世纪里，一些古老的人类疾病（如天花）终于被征服，但仍有许多疾病亟待解决，战胜它们将是巨大的人道主义成就。除此之外，生物学还可以通过延长健康的人类寿命、增加对我们自身生物过程的控制和自由，以及解决我们目前认为是人类条件不可改变的部分的日常问题，从根本上提高人类健康的基线质量。
在前一节关于“限制因素”的语言中，直接将智能应用于生物学的主要挑战是数据、物理世界的速度和内在复杂性（事实上，这三个因素相互关联）。当涉及到临床试验时，人类约束也在后期发挥作用。让我们逐一来看这些挑战。
实验速度的限制
细胞、动物实验甚至化学过程都受到物理世界速度的限制：许多生物协议涉及培养细菌或其他细胞，或等待化学反应的发生，这有时需要几天甚至几周的时间，而且没有明显的方法可以加快速度。动物实验可能需要几个月（甚至更长），而人类实验通常需要几年（长期结果研究可能需要几十年）。
数据质量的缺失
数据往往不足——不是数量上的，而是质量上的：总是缺乏清晰、无可辩驳的数据，这些数据能够将感兴趣的生物效应与其他10,000个干扰因素区分开来，或在特定过程中因果干预，或直接测量某些效应（而不是以间接或嘈杂的方式推断其后果）。即使是大量的定量分子数据，如我在质谱技术研究期间收集的蛋白质组学数据，也是噪声很大且遗漏了很多信息（这些蛋白质是在哪种类型的细胞中？细胞的哪个部分？细胞周期的哪个阶段？）。
内在复杂性
这些问题的一部分原因在于内在复杂性：如果你看过展示人类新陈代谢生化过程的图表，你就会知道，很难隔离这个复杂系统中任何一部分的效果，更不用说以精确或可预测的方式干预系统了。此外，除了进行人体实验所需的时间之外，实际的临床试验还涉及大量官僚主义和监管要求，这些（根据许多人，包括我的看法）增加了不必要的额外时间，延缓了进展。
鉴于所有这些情况，许多生物学家长期以来一直对AI和“大数据”在生物学中的价值持怀疑态度。历史上，过去30年里应用数学、计算机科学和物理学技能于生物学的研究人员取得了相当大的成功，但并没有达到最初期望的巨大变革影响。一些怀疑已经被像AlphaFold（该技术的创造者因其成果荣获诺贝尔化学奖）和AlphaProteo这样的重大突破所减少，但仍然有一种观点认为AI只在有限的情况下有用。“AI可以更好地分析你的数据，但它不能产生更多数据或提高数据质量。垃圾进，垃圾出。”
但我认为这种悲观的看法误解了AI的本质。如果我们关于AI进步的核心假设是正确的，那么看待AI的正确方式不是将其视为数据分析方法，而是将其视为执行生物学家所有任务的虚拟生物学家，包括设计和运行现实世界中的实验（通过控制实验室机器人或简单地告诉人类应该运行哪些实验——就像首席研究员对其研究生所做的那样）、发明新的生物方法或测量技术等。正是通过加快整个研究过程，AI才能真正加速生物学的发展。我想重申这一点，因为当我谈到AI有能力改变生物学时，这是最常见的误解之一：我不是在谈论AI仅仅是一种分析数据的工具。按照本文开头对强大AI的定义，我是指使用AI来执行、指导和改进生物学家几乎所有的工作。
加速的来源
要更具体地说明我认为加速可能来自何处，生物学中相当大比例的进步来自于极其少数的发现，这些发现通常与广泛的测量工具或技术有关，这些工具和技术允许对生物系统进行精确但通用或可编程的干预。每年或许只有1个这样的重大发现，但集体来看，它们可能推动了生物学超过50%的进步。这些发现之所以如此有力，正是因为他们能够穿透内在复杂性和数据限制，直接提高我们对生物过程的理解和控制能力。几十年来，少数几个发现不仅使我们对生物学的基本科学理解有了大部分的基础，而且还推动了许多最有效的医学治疗的发展。
例子
- CRISPR: 允许在活体内编辑任何基因的技术（用任何任意的基因序列替换另一个任意的序列）。自该技术首次开发以来，不断有改进针对特定细胞类型、提高准确性、减少错误编辑等方面的研究，这些都是为了安全地在人类身上使用。
- 各种显微技术: 如先进的光学显微镜（带有各种荧光技术、特殊光学等）、电子显微镜、原子力显微镜等，用于精确观察生物过程。
- 基因组测序和合成: 过去几十年间成本下降了几个数量级。
- 光遗传学技术: 通过光照激活神经元。
- mRNA疫苗: 原则上允许我们设计针对任何病原体的疫苗，并快速适应（mRNA疫苗在新冠疫情期间声名鹊起）。
- 细胞疗法如CAR-T: 允许从体内取出免疫细胞并“重新编程”以攻击任何目标。
- 概念性见解: 如疾病的病原体理论或免疫系统与癌症之间的联系的认识。
我列举了所有这些技术，是因为我想提出一个关键性的观点：我认为，如果有更多才华横溢、富有创造力的研究人员，这些发现的发现率可以提高10倍或更多。换句话说，我认为这些发现的智力回报很高，而生物学和医学的其他方面大多由此衍生而来。
为什么我会这样认为？因为我们应该养成在试图确定“智力回报”时询问某些问题的习惯。首先，这些发现通常是极少数研究人员做出的，而且往往是同一批人反复做出，这表明技能而非随机搜索的重要性（后者可能意味着长时间的实验是限制因素）。其次，它们往往“本可以早几年”被发现：例如，CRISPR是自80年代以来已知的细菌免疫系统的一个自然组成部分，但直到25年后人们才意识到它可以被重新用于通用基因编辑。它们也常常因为科学界对有前景方向的支持不足而被推迟多年（参见mRNA疫苗发明者的简介；类似的故事屡见不鲜）。第三，成功的项目往往是草根性质的或起初被认为不值得投入的副产品，而非大规模资助的努力。这表明，不仅仅是大量资源集中驱动了发现，而是创造性思维的作用。
最后，虽然这些发现中的一些具有“串行依赖性”（需要先做出发现A才能获得进行发现B所需的工具或知识）——这再次可能导致实验延迟——但许多，也许是大多数，发现是独立的，意味着可以同时进行多项研究。这些事实，加上我个人作为生物学家的经验，强烈表明，如果科学家们更聪明，更善于在人类拥有的大量生物学知识之间建立联系（再次考虑CRISPR的例子），还有数百个这样的发现等待被发现。AlphaFold/AlphaProteo在解决重要问题方面的有效性远超人类，尽管经过了几十年精心设计的物理建模，这为未来的方向提供了原理验证（尽管是在狭窄领域内的狭窄工具）。
因此，我的猜测是，强大的AI至少可以将这些发现的速度提高10倍，使我们在5-10年内实现未来50-100年的生物学进步。为什么不提高100倍？也许这是可能的，但这时串行依赖性和实验时间就变得重要了：要在1年内实现100年的进步，需要很多东西第一次就能顺利进行，包括动物实验和设计显微镜或昂贵的实验室设施等。我实际上对（或许听起来荒谬的）在5-10年内实现1000年的进步的想法持开放态度，但对在1年内实现100年的进步非常怀疑。另一种说法是，我认为不可避免存在一定的延迟：实验和硬件设计有一定的“潜伏期”，需要迭代一定次数才能学习无法逻辑推导出来的知识。但在这一点之上，可能实现大规模并行处理。
临床试验与社会障碍
尽管临床试验伴随有大量的官僚主义和延误，但事实是，它们的缓慢很大程度上源于需要严格评估效果微弱或模糊的药物。这不幸的是当今大多数疗法的真实写照：平均而言，抗癌药物只能延长几个月的生命，同时伴随着显著的副作用，这些副作用需要仔细测量（阿尔茨海默病药物也有类似的情况）。这导致了大规模的研究（为了获得统计功效）和复杂的权衡，而监管机构在这方面通常表现不佳，这也归因于官僚主义和竞争利益的复杂性。
然而，当某项疗法效果非常好时，事情会快得多：有一个加速审批通道，当效果大小更大时，审批的便利性也会大大提高。新冠mRNA疫苗在9个月内获得批准——比常规速度快得多。不过，即使在这种情况下，临床试验仍然太慢——mRNA疫苗理论上可以在大约2个月内获得批准。但是，这些延迟（药物从开始到结束约1年）加上大规模并行化和需要一定程度但不是太多迭代（“几次尝试”）与未来5-10年内发生根本性转变是非常兼容的。更加乐观的是，借助AI的生物学科学可以通过开发更好的动物和细胞实验模型（甚至是模拟）来减少临床试验中的迭代需求，这些模型能更准确地预测在人类身上的结果。对于开发对抗衰老过程的药物尤其重要，因为这一过程跨越数十年，我们需要更快的迭代循环。
最后，在临床试验和社会障碍的话题上，值得一提的是，生物医学创新在某种程度上有着成功部署的独特记录，这与一些其他技术形成了对比。正如引言中提到的，尽管许多技术在技术上运作良好，但受到社会因素的阻碍。这可能会让人对AI所能达成的目标持悲观态度。然而，生物医学的独特之处在于，尽管开发药物的过程过于繁琐，但一旦开发出来，它们通常都能成功部署和使用。
总结
我的基本预测是，AI赋能的生物学和医学将使我们能够在5-10年内实现人类生物学家在未来50-100年内可能取得的所有进步。我将这称为“压缩的21世纪”：即在强大的AI开发之后，我们将在短短几年内完成整个21世纪在生物学和医学领域的所有进步。
尽管预测强大的AI在未来几年能做什么本质上仍然是困难和推测性的，但问“在未来100年里，没有AI帮助的人类能做些什么？”这个问题是有一定具体性的。简单回顾一下20世纪我们所取得的成就，或者从21世纪头20年的趋势外推，或者问问“10个CRISPR和50个CAR-T”会带给我们什么，所有这些都提供了一种实际而基于现实的方式来估计我们从强大的AI那里可能期待的一般进步水平。
以下是可能预期的一些事项列表。这不是基于任何严谨的方法论，细节上几乎肯定会出错，但它试图传达我们应该期待的根本性变化的一般水平：
- 可靠预防和治疗几乎所有自然传染病：考虑到20世纪在传染病防治方面取得的巨大进展，设想在一个“压缩的21世纪”中我们基本上可以“完成这项工作”并不激进。mRNA疫苗及其类似技术已经指向了“任何疾病的疫苗”。传染病是否能从世界上彻底根除（而不仅仅是在某些地方）取决于贫困和不平等等问题，这些问题将在第3部分讨论。
- 消除大多数癌症：过去几十年癌症死亡率每年下降约2%，因此按照当前的人类科学发展速度，我们有望在21世纪消除大多数癌症。一些亚型已经基本治愈（例如某些类型的白血病通过CAR-T疗法），我甚至更看好能够针对早期癌症的非常选择性的药物，防止它生长。AI还将使得针对癌症个体化基因组高度定制的治疗方案成为可能——今天这已经可行，但耗时巨大且需要大量人力专长，而AI应能使我们扩大规模。在发病率和死亡率方面减少95%或以上似乎是可能的。不过，癌症极为多样且适应性强，可能是这些疾病中最难完全消灭的一种。如果一些罕见且难以治疗的恶性肿瘤持续存在，也不会令人惊讶。
- 有效预防和治愈遗传性疾病：大幅改进的胚胎筛查很可能使预防大多数遗传性疾病成为可能，而某种更安全可靠的CRISPR后代可能治愈现有的大多数遗传性疾病。然而，影响大量细胞的全身性疾病可能是最后一个堡垒。
- 预防阿尔茨海默病：我们一直在努力弄清楚阿尔茨海默病的成因（它与β-淀粉样蛋白有关，但具体情况似乎非常复杂）。这看起来正是通过更好的测量工具来隔离生物效应的问题，因此我对AI解决这个问题的能力感到乐观。一旦我们真正理解了其机制，很可能最终可以通过相对简单的干预措施来预防。不过，已经存在的阿尔茨海默病造成的损害可能非常难以逆转。
- 改善其他大多数疾病的治疗：这是一个涵盖糖尿病、肥胖症、心脏病、自身免疫疾病等其他疾病的通类别。大多数这些疾病看起来比癌症和阿尔茨海默病更容易解决，其中许多已经在急剧下降。例如，心脏病死亡率已经下降超过50%，GLP-1激动剂等简单干预措施已经在对抗肥胖症和糖尿病方面取得了巨大进展。
- 生物自由：过去的70年里，避孕、生育、体重管理等方面取得了进展。但我怀疑，AI加速的生物学将大大扩展可能性：体重、外观、繁殖和其他生物过程将完全处于人们的掌控之中。我们将把这些称为生物自由：每个人都有权选择他们想要成为的样子，并以最吸引他们的方式生活。当然，关于全球平等获取的问题至关重要，详见第3部分。
- 人类寿命翻倍：这听起来可能很激进，但20世纪人类预期寿命几乎翻了一番（从约40岁增加到约75岁），所以“压缩的21世纪”再次将其翻倍至150岁是“符合趋势”的。显然，减缓实际衰老过程所需的干预措施将不同于上个世纪为防止（主要是儿童）因疾病导致的过早死亡所需的干预措施，但变化的幅度并不是前所未有的。具体来说，已经存在一些药物可以使老鼠的最大寿命增加25%-50%，且副作用有限。而且，有些动物（如某些种类的乌龟）已经可以活200年，因此人类显然没有达到某个理论上的上限。据猜测，最需要的可能是可靠、不易被Goodhart定律扭曲的人类衰老生物标志物，因为这将允许实验和临床试验的快速迭代。一旦人类寿命达到150岁，我们可能会达到“逃逸速度”，赢得足够的时间，让今天活着的大多数人能够活得尽可能长，尽管这在生物学上是否有保障尚无定论。
思考这个列表，并反思如果所有这些都在7-12年后实现（这符合激进的AI时间表），世界将会有多么不同，是值得的。不言而喻，这将是一个难以想象的人道主义胜利，一次性消除困扰人类数千年的大多数灾难。我的许多朋友和同事正在抚养孩子，我希望当这些孩子长大后，疾病对他们来说就像坏血病、天花或鼠疫对我们一样陌生。那一代人还将受益于增强的生物自由和自我表达的机会，幸运的话，他们也可能能够活得尽可能长。
很难高估这些变化对除一小群期待强大AI的人以外的所有人的冲击。例如，成千上万的经济学家和政策专家目前正在争论如何保持社会保障和医疗保险的偿付能力，以及更广泛地说如何控制医疗保健的成本（这部分主要由70岁以上特别是患有癌症等绝症的人消费）。如果这一切成为现实，这些项目的形势可能会得到根本性的改善，因为工作年龄人口与退休人口的比例将发生巨大变化。毫无疑问，这些挑战将被其他挑战所取代，比如如何确保新技术的广泛获取，但值得反思的是，即使只有生物学领域因AI而成功加速，世界也将发生多大的变化。
二、神经科学与心里健康
在前一节中，我主要关注了身体疾病和生物学的一般方面，而未涉及神经科学或心理健康。然而，神经科学是生物学的一个子学科，心理健康与身体健康同样重要，事实上，心理健康可能更直接地影响人类福祉。数亿人由于诸如成瘾、抑郁、精神分裂症、低功能自闭症、PTSD、反社会人格障碍或智力障碍等问题而生活质量极低。数十亿人则挣扎于日常问题，这些问题往往可以被视为上述严重临床障碍的较轻微版本。就像生物学一样，超越解决问题，提高人类体验的基本质量也是可能的。
基本框架
我在生物学中概述的基本框架同样适用于神经科学。该领域的发展由少数与测量工具或精确干预相关的发现推动——在上述列表中，光遗传学是一项神经科学发现，最近的CLARITY和扩张显微镜也是此类进步的例子，此外还有许多通用的细胞生物学方法直接应用于神经科学。我认为这些进步的速度将因AI而同样加快，因此“5-10年内实现100年的进步”的框架同样适用于神经科学，原因与生物学相同。如同生物学，20世纪神经科学的进步也是巨大的——例如，直到1950年代我们才理解神经元是如何及为何放电的。因此，合理预期AI加速的神经科学将在几年内取得快速进展。
新增视角
在这个基本图景的基础上，我们应该添加一点，即过去几年我们从AI本身学到的一些东西可能有助于推进神经科学，即使这些研究继续仅由人类进行。可解释性就是一个明显的例子：虽然生物神经元表面上以与人工神经元完全不同的方式运作（它们通过尖峰和尖峰频率通信，因此包含时间元素，而许多与细胞生理和神经递质相关的细节也显著影响其运作），但“分布式、训练过的简单单元如何通过执行线性/非线性操作协同工作以执行重要计算”的基本问题是一样的，我强烈怀疑单个神经元通信的具体细节将在大多数有趣的计算和电路问题中被抽象掉。仅仅作为一个例子，可解释性研究人员在AI系统中发现的计算机制最近也在小鼠的大脑中被重新发现。
对人工神经网络进行实验比对真实神经网络容易得多（后者通常需要切割动物大脑），因此可解释性可能会成为改善我们对神经科学理解的工具。此外，强大的AI可能比人类更好地开发和应用这一工具。
不仅仅是可解释性，我们从AI中学到的关于智能系统训练的知识应该（虽然我不确定它是否已经）在神经科学领域引发一场革命。当我从事神经科学研究时，很多人关注我现在认为是错误的学习问题，因为那时还没有出现缩放假设/苦涩教训的概念。简单的目标函数加上大量数据可以驱动极其复杂的行为的想法使得理解目标函数和架构偏差变得更加有趣，而理解涌现计算的细节则变得不那么重要。近年来我没有密切关注该领域，但我有一种模糊的感觉，计算神经科学家尚未完全吸收这一教训。我一直对缩放假设的态度是“啊哈——这是对智能如何工作以及如何轻易进化的一个高层次解释”，但这并不是普通神经科学家的观点，部分原因是缩放假设作为“智能的秘密”在AI内部也尚未完全被接受。
我认为神经科学家应该尝试将这一基本见解与人类大脑的特定性（生物物理限制、进化历史、拓扑结构、运动和感觉输入/输出的细节）结合起来，以试图解开神经科学的一些关键谜团。有些人可能已经在这样做，但我怀疑还不足以充分利用这一点，而AI神经科学家将能够更有效地利用这一角度来加速进步。
AI加速神经科学进展的四个途径
我预计AI将沿着以下四个不同的路径加速神经科学的进步，所有这些路径都有望共同作用以治愈精神疾病并改善功能：
- 传统分子生物学、化学和遗传学：这基本上是第1节中一般生物学的同一故事，AI很可能通过相同的机制加速其发展。有许多药物通过调节神经递质来改变大脑功能，影响警觉性或感知，改变情绪等，AI可以帮助我们发明更多这样的药物。AI还可能加速对精神疾病遗传基础的研究。
- 精细神经测量与干预：这是能够测量许多单个神经元或神经回路活动，并干预以改变其行为的能力。光遗传学和神经探针是能够在活体生物中进行测量和干预的技术，还有一些非常先进的方法（如分子记号带读取大量单个神经元的放电模式）也被提出并在原则上可行。
- 高级计算神经科学：如前所述，现代AI的具体见解及其整体观念可能可以有效地应用于系统神经科学的问题，包括或许揭示精神病或情绪障碍等复杂疾病的真实原因和动态。
- 行为干预：鉴于本文侧重于神经科学的生物学方面，我未过多提及这一点，但精神科和心理学确实在20世纪开发了一系列行为干预方法；有理由相信AI也能加速这些方法的发展，既包括新方法的开发，也包括帮助患者遵守现有方法。更广泛地说，“AI教练”这个概念似乎非常有前景，这种教练总是帮助你成为最好的自己，研究你的互动并帮助你学习如何更有效地行事。
人工智能加速神经科学进步的展望
根据上述分析，可以合理推测，如果AI不发挥作用，仅凭传统方法，四大进展路径协同作用下，最晚在接下来的100年内，大多数精神疾病可能会被治愈或预防——而在AI加速的情况下，这一进程可能在5-10年内完成。具体来说，我预计会发生以下几件事情：
- 大多数精神疾病可能得到治愈：
- 尽管我不是精神疾病方面的专家（我的神经科学研究主要集中在构建探针以研究小群神经元），但我认为像PTSD、抑郁症、精神分裂症、成瘾等疾病，通过上述四个方向的结合，是可以被理解和非常有效地治疗的。
- 解决方案可能是“生化层面出了问题”（尽管可能非常复杂）和“神经网络层面出了问题”（在高层次上）的某种组合。也就是说，这是一个系统神经科学的问题——但这并不否定上述讨论的行为干预的影响。
- 特别是在活体人类中的测量和干预工具，似乎有可能导致快速的迭代和进展。
- 结构性条件可能更具挑战性，但并非不可能：
- 有证据表明，反社会人格障碍与明显的神经解剖学差异相关——即某些脑区在反社会人格障碍患者中较小或发育不良。反社会人格障碍患者从小缺乏共情能力，这意味着他们的大脑从一开始就有所不同。
- 同样的情况可能也适用于某些智力障碍和其他条件。重塑大脑听起来很难，但这也是一个高智力回报的任务。或许有办法引导成人大脑进入一个更早期或更可塑的状态，从而可以重塑大脑。虽然我对这一点的可能性不太确定，但直觉告诉我，AI在此方面可能会有所创新。
- 有效的遗传预防精神疾病似乎是可能的：
- 大多数精神疾病具有部分遗传性，全基因组关联研究已经开始在识别相关因素方面取得进展，这些因素通常是多方面的。
- 通过胚胎筛选预防大多数这些疾病可能是可行的，类似于物理疾病的预防方法。
- 不同之处在于，精神疾病更可能是多基因的（许多基因共同作用），因此由于复杂性，无意中选择对抗疾病的同时也选择对抗积极特质的风险增加。然而，近年来的GWAS研究表明，这些相关性可能被夸大了。无论如何，AI加速的神经科学可能帮助我们解决这些问题。当然，针对复杂性状的胚胎筛选会引发一系列社会问题，可能会有争议，但我猜大多数人会支持筛查严重的或致残的精神疾病。
- 日常心理问题也将得到解决：
- 我们大多数人都有一些日常的心理问题，这些问题通常不被认为是临床疾病。有些人容易生气，有些人难以集中注意力或经常困倦，有些人害怕或焦虑，或对变化反应不佳。
- 目前，已经存在一些药物可以帮助改善警觉性和注意力（如咖啡因、莫达菲尼、利他林），但在许多其他领域，更多的可能性可能会被发现。可能还有许多这样的药物尚未被发现，也可能有全新的干预方式，如靶向光刺激（见上述光遗传学）或磁场。
- 鉴于我们在20世纪已经开发了许多调节认知功能和情绪状态的药物，我对“压缩的21世纪”充满乐观，届时每个人都可以让自己的大脑表现得更好，拥有更充实的日常生活体验。
- 人类基本体验可以大大改善：
- 进一步来看，许多人经历过非凡的启示时刻、创造灵感、同情心、满足感、超脱感、爱、美丽或冥想和平等。这些体验的性质和频率因人而异，有时也可以通过各种药物触发（尽管往往伴随副作用）。这一切表明，“可能体验的空间”非常广阔，更多人的生活中可以包含这些非凡时刻。
- 改善各种认知功能的整体水平也可能是可能的。这或许是神经科学版本的“生物自由”或“延长寿命”。
总之，AI加速的神经科学有望极大地改善对大多数精神疾病的治疗，甚至可能治愈这些疾病，同时极大地扩展“认知和心理自由”以及人类的认知和情绪能力。这一进步将与前一节中描述的身体健康改善一样具有革命性。或许从外部看，世界不会有太大变化，但从人类体验的角度来看，世界将变得更加美好和人性化，提供更多自我实现的机会。我也怀疑，改善心理健康将缓解许多其他社会问题，包括那些看似政治或经济的问题。
三、经济发展与贫困
前两节讨论了开发新技术以治愈疾病和提高人类生活质量的话题。然而，从人道主义的角度来看，一个明显的问题是：“所有人都能获得这些技术吗？”
开发一种疾病的治疗方法是一回事，而彻底根除这种疾病则是另一回事。更广泛地说，许多现有的健康干预措施尚未在全球范围内普及，同样的情况也适用于（非健康领域的）技术改进。另一种说法是，世界上许多地区的生活水平仍然极度贫困：撒哈拉以南非洲的人均GDP约为2000美元，而美国则约为75000美元。如果AI进一步提高了发达国家的经济增长和生活质量，却对发展中国家的帮助有限，我们应该将其视为严重的道德失败和前两节真正人道主义胜利上的污点。理想情况下，强大的AI应帮助发展中国家赶上发达国家，同时革命化后者。
对AI解决经济不平等的信心
我对AI能够解决不平等问题和促进经济增长的信心不如对它发明基础技术的信心强，因为技术显然具有高度的智能回报（包括绕过复杂性和缺乏数据的能力），而经济则涉及许多来自人类的约束，以及大量的内在复杂性。我对AI能否解决著名的“社会主义计算问题”持一定怀疑态度，也不认为政府会（或应该）将其经济政策交给这样的实体，即使它可以做到。此外，还有一个问题是如何说服人们接受他们可能怀疑的有效治疗。
发展中国家面临的挑战因私营和公共部门普遍存在的腐败而更加复杂。腐败形成了一个恶性循环：它加剧了贫困，而贫困反过来又滋生了更多的腐败。AI驱动的经济发展计划需要应对腐败、薄弱的机构以及其他非常人性化的挑战。
乐观的理由
尽管如此，我确实看到了显著的理由保持乐观。疾病已经被根除，许多国家已经从贫穷走向富裕，很明显，这些任务所涉及的决策表现出高度的智能回报（尽管有人类的约束和复杂性）。因此，AI可能比目前做得更好。此外，可能还有绕过人类约束的针对性干预措施，AI可以专注于这些措施。更重要的是，我们必须尝试。AI公司和发达国家的政策制定者都需要尽自己的一份力，确保发展中国家不被落下；道德上的要求太过重大。因此，在这一节中，我将继续提出乐观的理由，但请记住，成功不是必然的，而是取决于我们的集体努力。
发展中国家的挑战
- 基础设施不足：许多发展中国家面临基础设施不足的问题，这限制了技术的普及和应用。AI可以通过优化资源分配和预测维护需求来帮助改善基础设施。
- 教育和培训：缺乏受过良好教育和技术培训的人力资源是发展中国家的一大挑战。AI可以提供个性化的在线教育和技能培训，帮助提升当地人口的技能水平。
- 腐败和治理问题：腐败和治理不善是阻碍发展的主要障碍。AI可以通过数据分析和透明度工具帮助减少腐败，提高政府效率。
- 金融包容性：许多贫困人口无法获得金融服务。AI可以通过移动支付和信用评分系统扩大金融包容性，帮助更多人获得贷款和储蓄服务。
- 农业现代化：农业是许多发展中国家的主要产业。AI可以通过精准农业技术和市场预测帮助提高农业生产率，增加农民收入。
- 医疗保健：发展中国家的医疗资源匮乏。AI可以通过远程医疗服务、疾病预测和诊断工具提高医疗服务质量，使更多人受益。
国际合作的重要性
为了确保AI的发展成果惠及全球，国际合作至关重要。发达国家和发展中国家之间需要建立更紧密的合作关系，共享技术和知识，提供资金支持。国际组织和非政府组织也可以发挥重要作用，推动技术和资源的公平分配。
在强大AI技术开发后的5-10年间，关于发展中国家的情况，我做出了一些预测和分析：
健康干预措施的分布
在这几个领域中，我最为乐观的是全球范围内的健康干预措施的分布。历史上，通过自上而下的运动，一些疾病已经被根除：例如，天花在20世纪70年代被完全消灭，脊髓灰质炎和几内亚线虫病也几乎被根除，每年病例不到100例。复杂的流行病学建模在疾病根除运动中发挥了积极作用，而比人类更聪明的AI系统很可能会在这方面做得更好。分发的物流也可以大大优化。作为GiveWell早期捐赠者的经验告诉我，一些健康慈善机构的效果远胜于其他机构；希望AI加速的努力会更加有效。此外，一些生物学上的进步实际上简化了分发的物流：例如，疟疾之所以难以根除，是因为每次感染都需要治疗；而一次性的疫苗接种可以大大简化这一过程（事实上，目前正在进行此类疟疾疫苗的研发）。甚至更简单的分发机制也是可能的：有些疾病可以通过针对其动物载体来根除，例如释放携带阻止传播疾病的细菌的蚊子（这些蚊子会感染所有其他蚊子）或使用基因驱动技术彻底消灭蚊子。这只需要一两个集中行动，而不是必须单独治疗数百万人的大规模协调运动。总的来说，我认为5-10年是一个合理的期限，大约有一半（可能是50%）的AI驱动的健康益处可以传递到世界上最贫穷的国家。一个好的目标是，AI开发后5-10年，发展中国家至少要比今天发达国家的健康状况好得多，即使它继续落后于发达国家。实现这一目标当然需要全球卫生、慈善、政治倡导等多方面的巨大努力，AI开发者和政策制定者也应该积极参与其中。
经济增长
发展中国家能否迅速赶超发达国家，不仅在健康方面，而且在经济的各个方面都能实现赶超？历史上有一些先例：20世纪最后几十年，几个东亚经济体实现了持续约10%的年实际GDP增长率，使它们赶上了发达国家。这些成就背后的决策是由人类经济规划者做出的，他们并没有直接控制整个经济，而是拉动了几把关键的杠杆（如出口导向型增长的产业政策，抵制依赖自然资源财富的诱惑）。可以设想，“AI财政部长和中央银行家”可能复制或超越这一10%的增长率。一个重要问题是，如何让发展中国家政府采纳这些政策，同时尊重自决原则——一些国家可能会热情欢迎，但其他国家可能持怀疑态度。乐观的一面是，前面提到的许多健康干预措施可能会有机地促进经济增长：根除艾滋病、疟疾和寄生虫病将对生产率产生变革性影响，更不用说神经科学干预（如改善情绪和专注力）在发达国家和发展中国家都可能带来的经济效益。最后，非健康领域的AI加速技术（如能源技术、运输无人机、改进的建筑材料、更好的物流和分销等）可能会自然渗透到世界各地；例如，即使是手机也通过市场机制迅速渗透到了撒哈拉以南非洲，而不需要慈善努力。然而，消极的一面是，虽然AI和自动化有许多潜在的好处，但也给经济发展带来了挑战，特别是对于尚未工业化的国家。寻找方法确保这些国家在自动化时代仍能发展和改善经济，是经济学家和政策制定者需要解决的重要挑战。总体而言，一个理想的场景——或许是我们应该追求的目标——是发展中国家每年20%的GDP增长率，其中10%来自AI支持的经济决策，另外10%来自AI加速技术的自然扩散，包括但不限于健康领域。如果实现这一目标，将在5-10年内使撒哈拉以南非洲的人均GDP达到当前中国的水平，同时使发展中国家的大部分地区超过当前美国的水平。再次强调，这是一个理想的情景，不是默认的结果：这是我们需要共同努力使其更有可能实现的目标。
食品安全
20世纪，作物技术的进步（如更好的化肥和农药、更高的自动化程度和更高效的土地利用）大幅提高了作物产量，拯救了数百万人免于饥饿。目前，基因工程正在进一步改进许多作物。找到更多方法来提高作物产量，以及使农业供应链更加高效，可能会带来由AI驱动的第二次绿色革命，帮助缩小发展中国家和发达国家之间的差距。
减缓气候变化
气候变化对发展中国家的影响将更为强烈，阻碍其发展。我们可以预期，AI将推动减缓或防止气候变化的技术进步，从大气碳去除和清洁能源技术到实验室培育肉类，减少我们对碳密集型工厂化农业的依赖。当然，正如前面所述，技术并不是阻碍气候变化进展的唯一因素——正如本文讨论的所有其他问题一样，人类社会因素也很重要。但有充分的理由相信，AI增强的研究将为我们提供减缓气候变化的手段，使其成本更低、破坏性更小，从而使许多反对意见变得无关紧要，并为发展中国家创造更多经济发展的机会。
国家内部的不平等
我一直主要讨论的是全球不平等现象（我认为这是最重要的表现形式），但当然，不平等也存在于各个国家内部。随着先进的健康干预措施和尤其是寿命延长或认知增强药物的出现，确实会有合理的担忧，认为这些技术“只为富人服务”。对于发达国家内部的不平等问题，我更为乐观，原因有两个：首先，发达国家的市场运作更好，市场通常能够随着时间推移降低高价值技术的成本；其次，发达国家的政治制度更能响应公民的需求，拥有更大的国家能力执行全民准入计划——我预计公民会要求获得这些大幅改善生活质量的技术。当然，这些需求是否成功并非既定事实——这是我们集体必须努力确保的一个公平社会的另一个方面。还有一个问题是财富不平等（而非救命和生活质量提升技术的获取不平等），这个问题似乎更难解决，我将在第5节中讨论。
拒绝问题
在发达国家和发展中国家都存在一个问题是，人们可能会拒绝AI带来的好处（类似于反疫苗运动或更广泛的卢德运动）。最终可能会出现负面反馈循环，例如，那些最没有能力做出正确决定的人可能会拒绝那些能改善其决策能力的技术，导致差距不断扩大，甚至可能形成一个反乌托邦的下层阶级（一些研究人员认为这将削弱民主，我将在下一节中进一步讨论）。这将再次给AI的正面进展蒙上道德污点。这是一个难以解决的问题，因为我认为强迫人们是不道德的，但我们至少可以尝试提高人们的科学理解能力——或许AI本身也能在这方面提供帮助。一个令人鼓舞的迹象是，历史上的反技术运动往往是“雷声大、雨点小”：反对现代技术的声音很响亮，但大多数人在个人选择时最终还是会采用这些技术。个人倾向于采用大多数健康和消费技术，而真正受到阻碍的技术（如核能）往往是集体政治决策的结果。
总的来说，我对迅速将AI的生物技术进步带给发展中国家的人们感到乐观。我希望，尽管不完全有信心，AI也能实现前所未有的经济增长率，使发展中国家至少超越目前发达国家的水平。我担心发达国家和发展中国家的“拒绝问题”，但怀疑这个问题会随着时间的推移逐渐减弱，AI也可以帮助加快这一过程。这不会是一个完美的世界，落后的人不会完全迎头赶上，至少在最初的几年里不会。但通过我们的共同努力，我们或许能够朝着正确的方向快速前进——如果能做到这一点，我们就能为地球上每个应享有尊严和平等权利的人兑现承诺。
四、和平与治理
假设前三部分讨论的一切进展顺利：疾病、贫困和不平等显著减少，人类生活的基本水平大幅提高。但这并不意味着所有主要的人类苦难原因都得到了解决。人类仍然是彼此的威胁。尽管技术进步和经济发展有促进民主和和平的趋势，但这趋势非常松散，经常（最近也有）出现倒退。20世纪初，人们以为战争已经成为过去；然而随后发生了两次世界大战。30年前，弗朗西斯·福山撰文讨论“历史的终结”和自由民主的最终胜利；但这一愿景至今未能实现。20年前，美国政策制定者认为与中国进行自由贸易将使其随着富裕而自由化；但这一预期并未实现，我们现在似乎正走向与重新崛起的威权主义集团的第二次冷战。有合理的理论认为，互联网技术实际上可能有利于威权主义，而非最初认为的有利于民主（例如在“阿拉伯之春”时期）。因此，了解强大的AI将如何影响这些问题显得尤为重要。
不幸的是，我没有看到强有力的证据表明AI会优先或结构性地推进民主和和平，就像我认为它会在结构上推进人类健康和缓解贫困一样。人类冲突是对抗性的，原则上AI可以帮助“好人”和“坏人”。如果有什么不同的话，某些结构性因素似乎令人担忧：AI似乎很可能使宣传和监控变得更加有效，这两者都是威权统治者的重大工具。因此，作为个体行动者，我们必须努力将事情引向正确的方向：如果我们希望AI支持民主和个人权利，就必须为此而奋斗。对此，我比对国际不平等的感受更为强烈：自由民主的胜利和政治稳定不是必然的，甚至可能不太可能，这需要我们所有人付出巨大的牺牲和承诺，就像过去经常发生的那样。
国际冲突与国内结构
我认为这个问题有两个方面：国际冲突和国家内部结构。在国际层面，当强大的AI被创建时，民主国家在世界舞台上占据优势地位非常重要。AI驱动的威权主义后果不堪设想，因此民主国家需要有能力设定引入强大AI的条件，既要避免被威权主义者压倒，也要防止威权国家内的人权滥用。
我目前认为最佳策略是“友好同盟战略”，即民主国家联盟寻求通过保障供应链、快速扩展并阻止或延迟对手获取关键资源（如芯片和半导体设备）来获得强大的AI优势（即使只是暂时的）。这个联盟一方面使用AI实现强大的军事优势（胡萝卜），同时向越来越多的国家提供强大的AI带来的好处（大棒），以换取这些国家支持联盟促进民主的战略（这有点类似于“和平原子能”计划）。联盟的目标是赢得越来越多的世界支持，孤立最恶劣的对手，最终使这些对手处于更好的位置，接受与其他国家相同的交易：放弃与民主国家竞争，以获得所有好处，而不是对抗一个更强大的对手。
如果我们能够做到这一切，我们将拥有一个由民主国家主导的世界，它们拥有经济和军事实力，能够避免被威权国家颠覆、征服或破坏，并可能利用其AI优势获得持久的优势。这可能会乐观地导致一个“永恒的1991年”——一个民主国家占上风的世界，福山的梦想得以实现。当然，这将非常难以实现，特别是需要私营AI公司与民主政府之间的密切合作，以及在胡萝卜和大棒之间做出极其明智的平衡。
即使这一切进展顺利，仍然存在国内民主与威权主义斗争的问题。虽然很难预测会发生什么，但我对以下情况持有一些乐观态度：在一个民主国家控制最强大AI的全球环境中，AI实际上可能在结构上有利于民主。特别是在这种环境下，民主政府可以利用更强大的AI赢得信息战：它们可以对抗威权国家的影响和宣传操作，并可能通过提供信息渠道和AI服务来创造一个全球自由的信息环境，而威权国家缺乏技术能力来阻断或监控这些服务。这可能不需要主动进行宣传，只需对抗恶意攻击和恢复信息自由流动即可。虽然这不是立竿见影的，但这种公平的竞争环境有很大机会逐步将全球治理推向民主，原因如下：
- 生活质量的提高：根据历史经验，第1-3部分讨论的生活质量提高应促进民主。特别是心理健康、幸福感和教育的改善将增加民主的支持度，因为这三者与支持威权领导人的倾向呈负相关。一般来说，当人们的其他需求得到满足时，他们更渴望自我表达，而民主本身就是一种自我表达的形式。相反，威权主义依赖于恐惧和怨恨。
- 自由信息对威权主义的冲击：只要威权国家无法审查信息，自由信息就有可能削弱威权主义。未被审查的AI还可以为个人提供强大的工具，以对抗压迫性政府。威权政府通过剥夺人们某种共同知识来生存，使人们无法意识到“皇帝没有穿衣服”。例如，塞尔维亚前总统米洛舍维奇被推翻的部分原因是斯尔德·波波维奇的心理战术，他详细描述了如何心理上剥夺威权者的权力，打破魔咒并动员民众反对独裁者。如果每个人口袋里都有一个超级高效的AI版本的波波维奇（他的技能显然具有高智力回报），而独裁者无法阻止或审查这些工具，这将为全世界的异议人士和改革者提供强大的支持。再次强调，这将是一场漫长而艰苦的斗争，胜利不是确定的，但如果我们在设计和构建AI时采取正确的方式，至少可以为全球各地的自由倡导者提供优势。
改进民主制度
除了避免威权主义外，我们还可以问：AI能否使民主制度比现在更好？即使在民主国家内部，不公正的事情也时有发生。法治社会承诺其公民在法律面前人人平等，每个人都有权享有基本人权，但显然这些权利在实践中并不总能得到保障。即使这一承诺只部分实现，也值得自豪，但AI能否帮助我们做得更好？
例如，AI能否通过使决策和流程更加公正来改进我们的法律和司法系统？目前，人们在法律和司法背景下主要担心AI系统会导致歧视，这些担忧很重要，必须加以防范。与此同时，民主活力的维持不仅在于应对风险，还在于利用新技术改进民主制度。真正成熟和成功的AI实施有望减少偏见，对每个人都更加公平。
几个世纪以来，法律体系一直面临一个两难困境：法律旨在保持中立，但本质上是主观的，因此必须由有偏见的人类来解释。试图使法律完全机械化并未奏效，因为现实世界是混乱的，无法总是用数学公式捕捉。相反，法律体系依赖于一些众所周知的不精确标准，如“残酷且不寻常的惩罚”或“完全没有任何社会价值”，这些标准由人类解释，常常显示出偏见、偏袒或随意性。“智能合约”在加密货币中未能彻底改变法律，因为普通代码不够智能，无法处理太多有趣的问题。但AI可能足够智能来完成这项任务：它是第一个能够在广泛而模糊的情况下做出可重复和机械判断的技术。
法律与正义中的AI辅助
我并不是建议用AI系统直接取代法官，而是将中立性与理解处理复杂现实情况的能力相结合，似乎在法律和正义方面有重要的积极应用。至少，这样的系统可以作为人类决策的辅助工具。透明度将是任何此类系统的重点，成熟的AI科学或许能够提供这一点：可以广泛研究这些系统的训练过程，使用高级解释技术查看最终模型并评估其潜在偏见，这是人类无法做到的。这样的AI工具还可以用于监测司法或警察背景下的基本权利侵犯行为，使宪法更具自我执行力。
公民共识与冲突解决
类似地，AI可以用于聚合公民意见并推动共识，解决冲突，寻找共同点，寻求妥协。计算民主项目已经在这方面进行了初步尝试，包括与Anthropic的合作。一个更加知情和深思熟虑的公民群体显然会加强民主制度。
提供政府服务
AI还有明显的机会用于帮助提供理论上人人都有权享受但实际上往往严重不足的政府服务，而且在某些地方情况更糟。这包括医疗服务、车管所服务、税收、社会保障、建筑规范执行等。有一个非常明智和知情的AI，其职责是让你以易于理解的方式获得所有合法权益，并帮助你遵守通常令人困惑的政府规则，这将是一个重大的进步。提高国家能力不仅有助于实现法律面前人人平等的承诺，还增强了对民主治理的尊重。目前，服务实施不力是人们对政府持怀疑态度的主要原因之一。
展望未来
所有这些都是相当模糊的想法，正如我在本节开头所说，我对这些想法的可行性没有像对生物学、神经科学和减贫方面的进步那么有信心。它们可能过于理想化。但重要的是要有雄心勃勃的愿景，愿意大胆梦想并尝试新的事物。将AI视为自由、个人权利和法律面前人人平等的守护者，这一愿景太过强大，不容忽视。一个21世纪的、由AI赋能的政治体系不仅可以成为个人自由的更强有力保护者，还可以成为一个希望灯塔，帮助使自由民主成为全世界向往的政府形式。
五、工作与意义
即使前面四个部分讨论的一切进展顺利——我们不仅缓解了疾病、贫困和不平等，而且自由民主成为主流的政府形式，现有的自由民主国家也变得更完善——至少还有一个重要的问题需要回答：“生活在这样一个技术先进且公平体面的世界里固然很好，但如果AI做了一切，人类的意义何在？更不用说他们如何在经济上生存下去？”
我认为这个问题比其他问题更困难。我不是说我对这个问题一定比对其他问题更悲观（尽管我确实看到了挑战），而是说这个问题更模糊，更难提前预测，因为它涉及的是关于社会如何组织的宏观问题，这些问题往往只能随着时间的推移和分散的方式逐渐解决。例如，历史上的狩猎采集社会可能想象没有狩猎和各种与狩猎相关的宗教仪式，生活就没有意义，他们可能会认为我们这个饱食且技术先进的社会是没有目的的。他们也可能不明白我们的经济如何养活所有人，或者在机械化社会中人们可以发挥什么有用的作用。
尽管如此，至少说几句还是值得的，但请记住，本节的简短绝不是我不认真对待这些问题的标志——恰恰相反，这表明我没有明确的答案。
意义问题
关于意义的问题，我认为认为某项任务没有意义仅仅因为AI可以做得更好是一种误解。大多数人并不是世界上最好的任何人，但这似乎并没有特别困扰他们。当然，今天他们仍然可以通过比较优势贡献自己的力量，并可能从自己创造的经济价值中找到意义，但人们也非常享受那些不产生经济价值的活动。我花了很多时间玩电子游戏、游泳、散步和与朋友聊天，这些活动都没有产生任何经济价值。我可能会花一天时间尝试提高某个游戏的技巧或更快地骑车上山，但这对我而言并不重要，因为某个地方有人可能比我更擅长这些事情。无论如何，我认为意义主要来自人际关系和连接，而不是经济劳动。人们确实想要一种成就感，甚至是竞争感，在后AI时代，完全有可能花费多年时间尝试某个非常困难的任务，制定复杂的策略，类似于今天人们从事研究项目、尝试成为好莱坞演员或创办公司时所做的事。AI在某个地方可以更好地完成这项任务，以及这项任务不再是全球经济中有经济回报的元素，对我来说并不重要。
经济问题
经济问题在我看来比意义问题更困难。在本节中，“经济”指的是大多数或所有人类可能无法有意义地参与到足够先进的AI驱动经济中的潜在问题。这是一个比不平等尤其是新技术获取不平等等问题更宏观的问题，我在第3部分中讨论了这些问题。
首先，短期内我同意比较优势将继续保持人类的相关性和生产力，甚至在某些方面拉平人类之间的差距。只要AI只在某项工作的90%上优于人类，剩下的10%就会使人类变得高度杠杆化，增加薪酬，事实上会创造许多新的工作岗位，这些岗位补充和放大了AI的优势，从而使“10%”继续雇用几乎所有人。事实上，即使AI可以在所有方面都优于人类，但如果某些任务仍然低效或昂贵，或者人类和AI所需的资源输入有显著差异，那么比较优势的逻辑仍然适用。人类可能在物理世界中保持相对（甚至绝对）优势相当长的时间。因此，我认为即使达到了“数据中心里的天才国”，人类经济仍有意义。
然而，我认为从长远来看，AI将变得如此普遍有效且廉价，以至于这种情况不再适用。那时，我们当前的经济结构将不再合理，需要更广泛的社论讨论经济应该如何组织。
这听起来可能很疯狂，但事实上文明在过去成功地经历了重大的经济转型：从狩猎采集到农业，从农业到封建制，从封建制到工业化。我怀疑需要一些新的、奇怪的东西，而这是我们今天没有人能够很好地预见的。这可能是简单的大规模普遍基本收入，尽管我怀疑这只会是解决方案的一小部分。这可能是一个由AI系统组成的资本主义经济，然后根据某些次级经济（基于AI系统认为对人类有意义的奖励标准，最终源自人类价值观）向人类分配资源（大量的资源，因为整体经济蛋糕将非常巨大）。或许经济运行基于“威望点”。或者，人类最终可能在某些未被现有经济模型预见的方式中仍然具有经济价值。所有这些解决方案都存在大量可能的问题，没有大量的迭代和实验是不可能知道它们是否有意义的。正如其他一些挑战一样，我们可能需要在这里争取一个好的结果：剥削或反乌托邦的方向显然是可能的，必须防止这种情况发生。关于这些问题还有很多可以写的内容，我希望在未来某个时候能够进一步探讨。
总结与展望
通过上述多样化的主题，我试图勾勒出一个世界，如果一切顺利，这个世界不仅是可能的，而且比今天的世界好得多。我不知道这个愿景是否现实，即使它是现实的，没有许多勇敢和奉献的人的巨大努力和斗争也是无法实现的。每个人（包括AI公司！）都需要尽自己的一份力，既防止风险，又充分实现这些好处。
但这是一个值得为之奋斗的世界。如果这一切真的在5到10年内发生——战胜大多数疾病，生物和认知自由的增长，数十亿人摆脱贫困并分享新技术，自由民主和人权的复兴——我相信每一个目睹这一切的人都会被其效果所震撼。我不仅仅是指个人从所有新技术中受益的经历，尽管这当然会令人惊叹。我是指见证长期持有的理想突然在我们所有人面前实现的经历。我相信许多人会被这一场景感动得流泪。
在撰写这篇论文的过程中，我注意到一个有趣的紧张关系。从某种意义上说，这里提出的愿景极为激进：它不是几乎任何人期望在下一个十年内发生的事情，许多人可能会认为这是一个荒诞的幻想。有些人甚至可能不认为这是可取的；它体现了并非所有人都认同的价值观和政治选择。但同时，有一种显而易见的、不可避免的感觉——仿佛许多不同的尝试去构想一个美好的世界最终都会指向这里。
在伊恩·M·班克斯的小说《游戏玩家》中，主角属于一个名为“文化”的社会，该社会的原则与我在此提出的类似。他前往一个压抑的、军事化的帝国，那里的领导权通过一场复杂的战斗游戏决定。然而，这款游戏足够复杂，以至于玩家在游戏中的策略往往反映了他们的政治和哲学观点。主角最终在游戏中击败了皇帝，展示了“文化”的价值观即使在由无情竞争和适者生存原则设计的游戏环境中也是一种胜利策略。斯科特·亚历山大的一篇著名文章也有同样的论点——竞争是自败的，往往会导向一个基于同情和合作的社会。“道德宇宙的弧线”是另一个类似的概念。
我认为“文化”的价值观是一种胜利策略，因为它们是无数个具有明确道德力量的小决定的总和，这些决定倾向于将所有人团结在一起。基本的人类直觉，如公平、合作、好奇心和自主性，是难以反驳的，并且以一种我们更具破坏性的冲动往往不具备的方式累积起来。很容易论证，如果我们能够预防，儿童不应该因疾病而死亡，从这一点出发，很容易进一步论证每个人的孩子都应该享有这一权利。从这一点出发，联合起来运用我们的智慧实现这一目标并不难。很少有人不同意，故意攻击或伤害他人应该受到惩罚，从这一点出发，认为惩罚应该在所有人之间一致和系统化也并非难事。同样直观的是，人们应该对自己的生活和选择有自主权和责任。这些简单的直觉，如果推演到逻辑终点，最终会导向法治、民主和启蒙价值观。即使不是必然的，至少作为一种统计趋势，这是人类已经前进的方向。AI只是提供了更快实现这一目标的机会——使逻辑更加鲜明，目标更加清晰。
尽管如此，这是一个超越性的美好愿景。我们有机会在这个愿景实现的过程中扮演一个小角色。这是一个值得追求的目标，也是一个充满希望的未来。让我们共同努力，使这个世界变得更加美好。（来自）
发表回复