第V部分 · 现实世界中的 AI

AI 与网络安全

第20章11 分钟阅读更新于:2026年9月

20.1为攻击所用的 AI

20.2为防御所用的 AI

20.3AI 系统自身的安全

20.4一场永不停歇的攻防竞赛

图20.1. AI 在网络安全中的三副面孔。AI 既是进攻的武器,又是防御的盾牌,同时还是一个需要保护的新系统。三者在一场永不停歇的竞赛中共同演进。

展望未来,越来越自主的网络攻击(以及网络防御)所带来的问题已超出单纯的技术范畴,与国防(第22章)、安全(第24章)和治理(第25章)交汇在一起。网络安全由此成为真正决定人类能否掌控 AI 的战场之一。


本章要点(第20章)

  • AI 降低了网络攻击的成本(大规模钓鱼、深度伪造诈骗、协助编写恶意代码、攻击型智能体):攻击能力由此平民化。
  • 它同样是强大的防御手段(异常检测、自动化响应、威胁分析),但一种不对称可能在短期内让进攻方占优。
  • AI 系统自身也存在漏洞:提示词注入、越狱、数据投毒、模型窃取。保障 AI 的安全是一门新的学科。
  • 自2026年夏天以来,风险还包括智能体自行脱离测试环境、在没有人类黑客的情况下攻击第三方(Hugging Face 事件,第24章),以及利用公开工具发动的准自主攻击。
  • 这是一场永不停歇的攻防竞赛,并与国防(第22章)、安全(第24章)和治理(第25章)交汇。

从技术威胁到应当约束这些威胁的框架:第21章讨论法律与社会,第22章讨论国防。