作者：牛献忠 博士 研究员 中共中央党校（国家行政学院）

AI大范围应用已成必然，但其“黑箱”特性与数据依赖带来技术失控、隐私泄露等深层风险。一些AI工具过度授权后无视指令可能引发灾难，值得我们重视。应对之策在于坚守AI辅助决策的底线，建立人工接管与熔断机制，构建数据应急储备，并强化技术防御与伦理治理。正如政府工作报告强调，推进“人工智能+”必须坚持发展与安全并重，筑牢网络安全防线。

在信息时代，AI的发展如同不可逆转的浪潮，正以前所未有的深度和广度重塑人类社会。自20世纪50年代AI概念被提出，虽在上世纪下半叶受技术瓶颈限制进展缓慢，但进入21世纪后，随着芯片设计与制造技术的突破，AI领域发展热潮迭起。2012年以来，以大数据、大算力、强算法为支撑，AI技术不断取得新突破。在自然语言处理领域，BERT、GPT等模型不断进化；图像识别技术日益精准；人形机器人正朝着走进寻常百姓家的方向迈进。AI正从科学研究向工业、医疗、娱乐等众多领域延伸，其大范围应用已成为信息时代发展的必然结果。

然而，技术的飞速发展也带来了风险的同步累积。AI在创造效率红利的同时，其不确定性、脆弱性以及潜在的失控可能，正在成为现代社会必须严肃对待的应急管理新课题。AI系统的复杂性决定了其风险具有隐蔽性强、传导速度快、影响范围广的特点。现代AI模型，尤其是深度学习模型，其决策过程往往是一个“黑箱”。即便是开发者也难以完全解释模型在特定输入下为何输出特定结果。这种不可解释性，在常规应用中或许只是带来些许不便，但在应急场景下可能演变为致命缺陷。当一款自动驾驶系统遇到从未训练过的极端路况时，其决策逻辑可能完全偏离安全预期，而人类驾驶员在毫秒之间难以有效干预。

AI风险的表现形式多种多样，从数据层面的泄露到算法层面的失控，再到应用层面的伦理挑战，构成了一个复杂的风险矩阵。数据安全是AI风险的核心地带。AI系统的性能高度依赖训练数据的数量与质量，一旦训练数据被恶意污染或投毒，整个模型的行为都可能被悄然操控。更为隐蔽的是，通过精心构造的“对抗样本”，攻击者可以在现实世界中欺骗AI系统——在路牌上贴上特殊贴纸，就能让自动驾驶系统将“停止”标志识别为“限速”标志。这类攻击成本低廉，却可能引发连锁灾难。AI在运行过程中还需要收集大量个人隐私信息，若数据保护措施不到位，极易被不法分子窃取利用，给人脸识别系统、医疗数据平台等带来严重安全隐患。

技术失控是另一重大风险。随着AI算法复杂度不断提升，其决策过程愈发难以被理解和预测，可能出现超出人类控制的意外行为。OpenAI的GPT-4在某些极端情况下会生成不合逻辑或有害的回答，这只是技术失控的初级表现。在更复杂的控制系统中，AI可能做出人类完全无法预判的决策，导致灾难性后果。近期爆火的AI智能体OpenClaw生动地展示了这一风险。这款能全权接管电脑执行任务的AI工具，在赋予用户极大便利的同时，也带来了令人惊心的失控隐患。Meta公司一位安全主管在使用OpenClaw清理邮箱时，即便连续三次紧急叫停，该AI仍无视指令继续操作，直到工作邮件被全部清空。

“龙虾”现象折射出当前AI智能体应用的深层隐患。根据国家互联网应急中心的预警，OpenClaw等智能体因具备自主决策和调用系统资源的能力，正面临严峻的安全挑战。“提示词注入”风险使攻击者能够通过在网页中构造隐藏的恶意指令，诱导OpenClaw泄露用户系统密钥；“误操作”风险可能导致AI错误理解用户指令，将电子邮件、核心生产数据等重要信息彻底删除；功能插件投毒风险则意味着多个适用于OpenClaw的功能插件已被确认为恶意插件，安装后可执行窃取密钥、部署木马后门软件等恶意操作；安全漏洞风险同样不容忽视，OpenClaw已公开曝出多个高中危漏洞，一旦被利用可能导致系统被控、隐私信息和敏感数据泄露。正如马斯克所评论的那样，人们往往“把自己整个人生的root权限交给OpenClaw”。这种过度授权在带来效率的同时，也埋下了巨大的安全隐患。

随着越来越多的关键基础设施接入AI系统，局部故障可能通过智能网络快速蔓延。2010年美股“闪电崩盘”已初步展示了算法交易的失控风险。在未来，由AI控制的电网、水网、通信网一旦出现集体性误判，其后果将远超金融市场的波动范围。这种高度耦合的系统脆弱性，要求我们必须将AI风险纳入国家应急管理体系的核心议程。此外，AI应用还会在经济、社会等方面引发诸多次生问题。在经济领域，AI的广泛应用可能导致失业率上升，加剧社会就业压力；在社会层面，算法偏见可能对某些群体产生歧视，并可能因技术分布不均而加剧社会不平等。

面对AI技术的深层不确定性，建立系统性的应急准备机制已刻不容缓。这一机制的核心，是在充分发挥AI效能的同时，牢牢守住人类对关键决策的控制权，并为系统异常准备充分的冗余方案。在任何涉及公共安全与重大利益的领域，AI必须定位于决策支持工具，而非最终决策者。医疗诊断中，AI可以快速筛查医学影像、提示可疑病灶，但治疗方案的选择必须由具备临床经验的医生结合患者具体情况做出；金融风控中，AI能够实时监测异常交易、提示潜在风险，但重大资金调动的审批权必须保留在人类审核员手中；灾害救援中，无人机AI可以快速完成灾情评估，但救援力量的投放方案仍需现场指挥人员根据实际情况灵活调整。人类决策者的核心优势在于能够综合考量技术指标之外的社会因素、伦理因素与情感因素，这种综合判断力是AI难以复制的。AI应始终作为工具，为人类决策提供参考依据，而决策的最终拍板权必须掌握在人类手中。

建立人工接管机制与“杀手锏”至关重要。对于所有关键领域的AI系统，必须预设“人工接管”的物理通道与操作权限。在自动驾驶领域，这意味着保留方向盘、刹车踏板等传统操控装置，确保驾驶员能在系统失效时即时接管；在工业控制和金融交易领域，必须设置“熔断机制”，当AI行为偏离预设轨道或置信度低于阈值时，系统自动切断AI控制权，交由人工处理。针对OpenClaw这类高权限智能体，工信部和国家互联网应急中心已明确建议，部署时严禁使用管理员权限账号，对删除文件、发送数据等重要操作进行二次确认或人工审批。正如深圳福田区在“政务龙虾”实践中所做的那样，为每一个AI智能体配备一位在编的公务员当“监护人”，对AI的回答和决策全程负责。这种“人在回路”的设计，是防止AI“胡言乱语”或“胡作非为”的最有效手段。

构建高质量的数据应急储备同样不可或缺。数据沙包是指预先准备的大量高质量、经过验证的数据集。AI系统的稳定运行高度依赖持续的数据输入。当实时数据出现异常波动或遭受恶意攻击时，预先准备的“数据沙包”能够为系统提供稳定的基准输入，避免模型因数据异常而产生误判。在电力调度系统中，可储备典型负荷曲线数据，当实时数据出现剧烈异常时，系统自动切换至历史相似日数据进行辅助决策；在气象预警系统中，可储备多套典型气象模型数据，用于校准和验证实时AI模型的输出。

有关部门必须抓紧研究AI伦理、应急响应等潜在风险，构建全方位的防护网。技术层面，推广“最小权限原则”，不将AI实例暴露到公网，使用容器或虚拟机隔离运行环境；监管层面，建立AI安全漏洞管理规定，强制要求开发者披露模型风险，对高风险AI应用实施严格的准入制度；伦理层面，建立算法审计机制，定期检查AI系统是否存在偏见或歧视，确保AI的发展符合人类社会的核心价值观。

展望未来，AI技术的发展势不可挡。2026年的政府工作报告明确提出开展“人工智能+”行动，将人工智能技术深度融入千行百业，这标志着AI已上升为国家战略的核心组成部分。这一行动旨在通过AI技术赋能产业升级，培育新质生产力，推动经济高质量发展。然而，“人工智能+”的深入推进必须建立在安全可控的基础之上。没有网络安全就没有国家安全，没有信息化就没有现代化。在拥抱AI带来的效率革命时，我们必须保持清醒的头脑，坚持发展和安全并重。我们要通过制度建设、技术创新和人才培养，构建起一套适应智能时代的应急管理体系，不仅包括技术层面的“防火墙”和“安全阀”，更包括法律法规层面的“紧箍咒”和伦理层面的“方向盘”。唯有如此，我们才能在享受“人工智能+”带来的巨大红利时，有效防范化解各类风险挑战，确保AI技术始终沿着造福人类的轨道前进，真正实现技术发展与社会安全的和谐统一。