第VI部 · 存亡に関わる課題
ガバナンス、規制、そしてありうる未来
25.1AIを規制する：3つのアプローチ
25.2欧州のAI規則
25.3監査、安全性、国際協調
25.4ありうる未来
これらの系統を具体的にするには、その極端な姿を描いてみるのが有益である。ただし、それらはあくまでシナリオであって予測ではないことを念頭に置いておきたい。
明るい側面。 楽観論者がしばしば擁護する最も好ましい仮説（ダリオ・アモデイのエッセイ Machines of Loving Grace がその一例である。第7章）では、強力で制御されたAIが知識の加速装置として働く。数十年分の医学の進歩が数年に圧縮されることも想像できる。今日では不治とされる病気が解明されて治療され、早期診断が広く普及し、創薬が加速する（第14章）。これに加えて、科学の黄金時代（材料、エネルギー、気候）、生徒一人ひとりのための個別の家庭教師（第15章）が実現し、さらに生産性向上の成果が広く分かち合われるなら、人々の時間を解放するある種の物質的な豊かさがもたらされるだろう。これは、AIがその約束を果たし、かつリスクが現実化しないシナリオである。
暗い側面。 反対に、懸念される軌道のいくつかは、敵対的な超知能を想定するまでもないものである。痛みを伴う移行のうち最も議論されているのは、十分に備えのないまま訪れる大量失業である。自動化（まず認知的な作業、次いで身体的な作業。第17章）が雇用の創出よりも速く進み、その利益が一部に集中すれば、格差は爆発的に拡大する。第2のリスクは政治的なものである。非常に高性能なAIツールは、全面的な監視や、少数の国家または少数の企業へのかつてない権力の集中に利用されうるのであり、ひいては権威主義的な秩序が長期にわたって固定化されることにもなりかねない（第21章）。第3のリスクは、意図的な悪用である。大規模なサイバー攻撃、産業化された偽情報、さらには生物兵器への障壁の低下までもが含まれる（第20章、第22章、第24章）。第4のリスクはより気づきにくいもので、2025年に漸進的な無力化（gradual disempowerment）という名で定式化された。唐突な支配権の奪取など一切ないまま、人類は自らの経済、文化、制度に対する主導権を少しずつ失っていくかもしれない。自分たちよりも速くて安価なシステムに、ますます多くの決定を委ねていくだけで、やがて人類の利益が中心に置かれなくなるところまで行き着くのである。そして極端な例として、きわめて高度でアライメントの取れていないAIを前に、急速に制御を失うというシナリオがある（AI 2027の物語、24.3節）。それほど劇的ではないがよく挙げられるものとして、意味をめぐるリスクがこの全体像を補う。機械がほとんどすべてを人間より上手に、より速くこなす世界で、労働や努力、そして創造する誇りはどうなってしまうのだろうか。
これらの像のどれ一つとして確実なものはなく、現実はおそらく、分野や地域に応じて最良のものと最悪のものを併せもつことになるだろう。軌道が、私たちが部分的にでも方向づけることのできる変数に左右されるのは、まさにこの幅がこれほど広いからである。
決定的な変数は4つあり、それぞれが本講座のいずれかの章に対応している。アライメントと安全性の成否（第24章）、ガバナンスと協調の質（本章）、集中か民主化かという恩恵の分配（第9章と第17章）、そして地政学的な対立の行方（第8章と第22章）である。汎用人工知能（AGI）が到来するとすればいつかについては、専門家の見積もりは数年から数十年、さらには決して到来しないというものまで幅がある。不確実性の大きさはそれほどのものである。
要点（第25章）
- 規制の3つのアプローチ：欧州（権利とリスク、域外適用の効力）、米国（市場と輸出規制）、中国（国家主導）。
- 欧州のAI Actは用途をリスクのピラミッド（許容できない、高、限定的、最小限）に分類する。透明性義務と汎用目的AIモデルに対する監督は2026年8月2日から適用されている。高リスクに関する規則は、2026年夏に採択されたDigital Omnibusによって2027年12月2日と2028年8月2日に延期された。制裁は最大で3500万ユーロまたは売上高の7% である。
- フロンティアモデルの統治は、義務的な監査（航空とのアナロジー）、安全研究所、国家による統制という問題を提起するが、そのすべてが、競争の文脈における国際協調の難しさに阻まれている。2026年9月には、カリフォルニア州が独立監査の法的枠組みを創設し、大手研究所がホワイトハウスで自主的な合意に署名した。
- 未来は、明るい側面（豊かさ、科学の黄金時代、医療と教育の変革）から暗い側面（大量失業、監視と権力の集中、悪用、漸進的な無力化、制御の喪失）まで幅があり、その間に「どうにかこうにか」の道がある。行方を決めるのは4つの変数、すなわちアライメント、ガバナンス、分配、地政学である。AGIの到来はなお非常に不確実である。
- 全体を貫く軸：AIは汎用技術である。とるべき姿勢は知識に裏打ちされた冷静さであり、それはAIの未来が私たちの集団的な選択にかかっているからである。