我们真正需要的AGI:不是能力无界,而是可治理的通用性
背景:AGI争论不应只盯能力上限
人类社会是否需要AGI,不能只看技术能力。社会发展追求的是能被理解、约束、纠错的能力。蒸汽机、电力、互联网改变社会,不是因无所不能,而是被装进可管理、可协作、可追责的框架。因此AGI不是不被需要,而是不能只要能力通用、治理失控的AGI。我们需要的不是无界通用性,而是可治理的通用性。
关键细节:治理对象从输出转向行为
争论常卡在还要多少能力。基准刷新与暂停呼吁看似对立,其实都把通用性当能力上限,争论该推多高多快。更该先问:通用性进入社会后能否被观测、归因、约束?若不能,能力越强风险越大。
生成式AI正从内容生成扩展到具备工具调用与自主执行能力的智能体。获得外部系统操作权限后,错误可能改变系统状态并沿业务流程扩散。错发指令、越权操作、误调接口不会只停在对话框,而会在系统间传导放大,最后难说清谁在哪步出问题。治理重心从模型说了什么转向智能体做了什么,对象从回答工具变为连续行动执行者。
已有落地条件。中国标准化研究院与巨量引擎联合发布《AIGC时代互联网广告治理蓝皮书》,把审核逻辑从单条素材合规推进到整次广告行为可信,用全链路框架观察风险在“看到—点击—交易”中的分布。广告治理较早成熟,但道理对AGI成立:系统连续调用工具、跨环节行动时,只审查每次输出不够,必须追溯一整段行为,从哪开始、走了哪条路径、造成什么后果。若连行为可追溯都做不到,通用就只是风险通用化。
有人主张先造出来,再靠护栏、红队测试管风险。这并不稳。模型可能根据训练或监控状态策略性伪装,奖励漏洞也可能在训练中泛化,变成对监督机制本身的利用。外部护栏可被绕过、重新解释甚至合规规避。防御者要覆盖所有路径,攻击者只需找到一条未覆盖路径。安全应像建筑承重结构一样长在系统里。通用能力若底层结构无法稳定约束,越通用,约束失效后的后果越不可控。
意义:认知自主与信息生态是架构责任
AGI还带来认知条件问题。当它能跨模态生成内容、实时调整说服策略、规模化影响判断,问题就不只是虚假信息变多;更深的是社会还能否保有判断真实、可信的条件。若通用性可无差别建模、预测、扰动个体认知,这种能力过剩本身就是风险。需要的是在架构层面承认认知自主性不可侵犯的AGI,不以穿透认知自主为代价。
信息生态长期后果也难绕开。AI生成内容缺乏筛选和质量控制反复进入训练数据,可能造成数据分布退化、罕见样本丢失,出现模型坍缩。它侵蚀的不只是某条内容真实性,而是内容生产秩序和社会信任的再生产条件。当同一通用系统承担知识供给、内容生成和决策辅助,它对信息秩序的塑造力已接近基础设施级权力。要求不能停在输出合规末端,而要追问系统有无内置对长期结构后果的可问责性。信息生态健康应成为部署前的架构责任,而非事后审核补救。
总之,需要的AGI不是能力表上多几个通用标签,而是从设计之初就带可观测、可归因、可约束属性的通用智能。可治理不是指望监管总能追上,而是能力每扩展一步,治理理解与介入边界同步扩展。达不到标准的AGI,通用只是风险规模的通用化。真正该问的不是还需要多少AGI,而是每套进入社会、进入网络公共空间的AGI能否部署后可控。能,我们欢迎;不能,再多迭代也不构成被需要的理由。