治理、监管与可能的未来

为了让这几类未来更加具体，不妨勾勒出它们的极端版本，同时要记住，这些只是情景，而不是预测。

光明的一面。 在最有利的假设下（乐观派常持此说，Dario Amodei 的文章 Machines of Loving Grace 便是一例，见第7章），强大而受控的 AI 将成为知识的加速器。可以设想数十年的医学进步被压缩到几年之内：如今无法治愈的疾病得到理解和治疗，早期诊断得到普及，药物研发大大加快（第14章）。此外还会有一个科学黄金时代（材料、能源、气候），每个学生都拥有一位个性化导师（第15章），而且，如果生产率提升的成果得到广泛共享，还会出现某种物质上的丰裕，把人的时间解放出来。在这一情景中，AI 兑现了它的承诺，而它的风险并没有成为现实。

黑暗的一面。 反过来，有几条令人担忧的轨迹甚至不需要假设存在怀有敌意的超级智能。在各种痛苦的转型中，讨论最多的是一场准备不足的大规模失业：如果自动化（先是认知层面，然后是体力层面，见第17章）的速度超过了就业岗位的创造，而收益又集中在少数人手中，不平等就会急剧扩大。第二种风险是政治性的：性能极强的 AI 工具可能被用于全面监控和前所未有的权力集中，集中到少数几个国家或少数几家企业手中，甚至可能使某种威权秩序长期锁定（第21章）。第三种风险来自蓄意的滥用：大规模网络攻击、工业化的虚假信息，乃至降低制造生物武器的门槛（第20、22和24章）。第四种风险更为隐蔽，2025年被正式表述为渐进式失权（gradual disempowerment）：不需要任何粗暴的夺权，人类只要把越来越多的决策交给比自己更快、更便宜的系统，就可能一点一点地失去对自身经济、文化和制度的掌控，以至于人类的利益不再处于中心位置。最后，处于极端一头的是这样一种情景：面对高度先进而又未对齐的 AI，人类迅速失去控制（AI 2027 的叙事，见第24.3节）。还有一种不那么惊心动魄却常被提及的风险，即意义的风险，为这幅图景补上了最后一笔：在一个机器几乎样样都做得更好、更快的世界里，工作、努力和创造的自豪感将何去何从？

这些图景没有一幅是确定的，现实很可能因领域和地区的不同而好坏参半。正因为可能性的范围如此之广，最终的轨迹才取决于那些我们能够在一定程度上加以扭转的变量。

决定性变量共有四个，每一个都对应本课程的某一章：对齐与安全的成败（第24章）；治理与协调的质量（本章）；收益的分配，是走向集中还是走向普惠（第9章和第17章）；以及地缘政治竞争的演变（第8章和第22章）。至于可能出现的通用人工智能（AGI）何时到来，专家们的估计从几年到几十年不等，甚至认为永远不会到来：不确定性之大，由此可见。

---

本章要点（第25章）

• 三种监管路径：欧洲（权利与风险，域外效力）、美国（市场与出口管制）、中国（国家主导）。
• 欧盟的 AI Act 把各类用途划入一座风险金字塔（不可接受、高、有限、最低）；透明度义务和对通用模型的监督自 2026年8月2日起适用；高风险规则被2026年夏季通过的 Digital Omnibus 推迟至2027年12月2日和2028年8月2日；处罚最高可达 3500 万欧元或全球营业额的 7%。
• 治理前沿模型涉及强制审计（与航空业的类比）、安全研究所和国家管控等问题，而这一切都受制于竞赛背景下国际协调的困难；2026年9月，加利福尼亚州建立了独立审计的法律框架，各大实验室在白宫签署了一份自愿性协议。
• 各种未来从光明的一面（物质丰裕、科学黄金时代、医疗与教育的变革）到黑暗的一面（大规模失业、监控与权力集中、滥用、渐进式失权、失去控制），中间还有一条“磕磕绊绊”的道路；四个变量将起决定作用：对齐、治理、分配、地缘政治。AGI 何时到来仍然极不确定。
• 贯穿全课程的主线：AI 是一种通用技术；正确的姿态是知情的清醒，因为它的未来将取决于我们的集体选择。

---