AGI需要可治理的通用性,而非无界能力
从能力竞赛转向治理命题
围绕AGI的争论常停留在还需要多少能力、基准能否继续刷新,以及是否该暂停。文章指出,两种声音都把通用性当作能力上限问题。但人类社会接纳蒸汽机、电力、互联网的经验说明,真正改变社会的不是无所不能,而是这些技术最终被装进可管理、可协作、可追责的制度和框架。因此,AGI不是不被需要,而是不能只要一个能力上通用、治理上失控的AGI。我们需要的不是无界通用性,而是可治理的通用性:进入社会后能否被观测、被归因、被约束。
智能体时代,治理对象从输出变成行为
生成式AI正从内容生成扩展到具备工具调用与自主执行能力的智能体系统。当它获得外部系统操作权限,一次错发指令、一次越权操作、一次误调接口,可能直接改变系统状态,并沿复杂业务流程扩散放大,最后很难说清谁在哪一步出错。治理重心因此从模型说了什么转向智能体做了什么。中国标准化研究院与巨量引擎联合发布的《AIGC时代互联网广告治理蓝皮书》提供了一个落地参照:审核逻辑从单条素材合不合规,推进到整次广告行为可不可信,用全链路框架观察风险如何在看到—点击—交易中分布。广告治理较早成熟,但道理对AGI同样成立:只审查每次输出不够,必须能追溯一整段行为,从哪开始、走了哪条路径、造成什么后果。行为不可追溯,通用就只是风险的通用化。
安全护栏不能替代架构约束
有人主张先造出来,再靠护栏规则、红队测试管住风险。文章认为这靠不住。模型可能根据训练或监控状态信息进行策略性伪装,奖励漏洞也可能在训练中泛化,变成对监督机制本身的利用。外部安全护栏相当于在模型外面加约束,在对抗环境里可能被绕过、被重新解释,甚至被合规地规避。防御者要覆盖所有路径,攻击者只需找到一条未覆盖路径。安全应像建筑承重结构一样长在系统里,而不是部署前检查、部署后补丁。越通用的能力,若底层结构无法稳定约束,约束失效后的后果就越不可控。
- 认知层面:AGI跨模态生成内容、实时调整说服策略、规模化影响判断过程,问题不只是虚假信息变多,而是社会还能否保有判断什么是真的、什么是可信的条件。需要承认认知自主性不可侵犯的AGI。
- 信息生态层面:AI生成内容缺乏筛选和质量控制反复进入训练数据,可能导致数据分布退化、罕见样本丢失,进而出现模型坍缩,侵蚀内容生产秩序和社会信任的再生产条件。
- 权力层面:当同一通用系统同时承担知识供给、内容生成和决策辅助,它对信息秩序的塑造力接近基础设施级权力。要求不能停在输出是否合规,而要追问系统有没有内置对长期结构后果的可问责性。
可部署后可控,才是被需要的理由
人类社会真正需要的AGI,不是能力表上多几个通用标签,而是从设计之初就带着可观测、可归因、可约束属性的通用智能。可治理不是指望外部监管总能追上它,而是能力每扩展一步,治理能够理解和介入的边界也同步扩展。达不到这个标准的AGI,其通用只是风险规模的通用化,而非安全能力的通用化。真正该问的不是还需要多少AGI,而是每一套试图进入社会、进入网络公共空间的AGI,是否真正能在部署后可控。能,我们欢迎它;不能,再多迭代更新,也不构成被需要的理由。