第III部分 · 硬件与基础设施
本地化与主权 AI
9.1为什么要在自己的设备上运行 AI
9.2开源 AI:一场运动及其细微差别
然而,把“开源”移植到 AI 上,却带来了一个前所未有的问题。传统软件就是代码。而一个 AI 模型包含三样东西:代码、权重(学习得到的数十亿个参数)和训练数据。要开放哪些部分,才算真正的“开源”?这场争论一度十分激烈。2024 年 10 月,Open Source Initiative(该领域的权威组织)给出了定论,发布了开源 AI 定义(OSAID 1.0):一个模型如果可以被自由地使用、研究、修改和分享,它就是开源的;这要求公开代码和权重,并提供关于数据的充分信息,使任何人原则上都能重新构建出一个等效的模型(但不一定要公开原始数据本身,因为这些数据有时较为敏感或受版权保护)。
这一定义揭示出一条开放程度的光谱,其中各个层次必须分辨清楚:
图 9.1. 开放程度的光谱。大多数所谓的“开放”模型,实际上只是开放权重:人们可以下载并运行它们,却不知道它们究竟是用哪些数据、哪些代码训练出来的。这很有用,但并不完全是严格意义上的“开源”。
收益与风险。 我们在第7章已经勾勒过这场争论;从开源的角度来看,能把它看得更清楚。收益包括透明(代码和权重可以被审视,有助于问责和可解释性)、普及(没有自有模型的国家和企业也能以低成本用上 AI)、主权,以及开放模型更难被审查、更难在一夜之间被撤下这一事实。风险则恰好与之对称:开放模型一经发布便无法“召回”,它的安全护栏可以通过重新训练被移除,这让人担心它被用于恶意目的(不过,美国白宫 2024 年的一份报告认为,“目前”尚无充分理由限制权重的发布)。这正是开放与控制之间的两难,也是 AI 治理的核心问题(第24章和第25章)。
9.3量化:压缩智能
9.4本地 AI 的开源工具
9.5硬件:Mac Studio 与 Mac mini 集群
9.6数字主权与欧洲云
本章要点(第9章)
- 在本地运行 AI,满足的是保密性、主权、成本、离线运行和掌控力等方面的需求。
- 开源 AI 继承自自由软件运动。OSI 的定义(OSAID 1.0,2024 年)要求公开代码、权重以及关于数据的充分信息。
- 要留意这条光谱:大多数“开放”模型只是开放权重(可以下载,但没有数据和代码),批评者称之为“openwashing”;完全开放的模型(如 Apertus)十分罕见。
- 开放已成为一个地缘政治议题(“DeepSeek 时刻”、中国的战略武器、欧洲的主权)。
- 量化把模型压缩到可以在常见硬件上运行;一批大部分开源的工具(Hugging Face、PyTorch、Ollama、LM Studio、llama.cpp、vLLM)让本地 AI 变得触手可及。
- NVIDIA 对 Hugging Face 的收购于 2026 年 9 月宣布,尚未完成,这让人们对开放模型公共广场的中立性产生疑问。
- Mac 集群(统一内存、高能效)为规模不大的组织提供了良好的性价比;在原始算力方面,NVIDIA 依然称王。
- 数字主权(主权模型、欧洲云、开源)就是“欧洲道路”,雄心勃勃,但代价不菲。
这种算力,无论在本地还是在云端,都有其代价,而人们越来越多地用兆瓦来衡量它。第10章将直面那个可能让一切放缓的问题:能源。