AI最糟糕的灾难将悄然而至｜读者来信

背景：从“AI广岛”到悄然风险

针对 Timothy Garton Ash 8 月 22 日关于“AI Hiroshima”的论述，Dr Simon Nieder（Chesterfield, Derbyshire）认为严重AI风险需要国际行动，但该比喻可能不当。广岛并非技术失控，而是人类设计、授权并投掷武器，技术按预期运行。AI最严重危害未必出现戏剧性“AI接管”，而可能在人类仍作决策时发生，例如AI协助设计病原体、发现关键基础设施漏洞或改进武器系统。更隐蔽的风险来自大量普通决策累积：某处增加自主权、某处移除保障、某任务因表现良好被移交；危险明显时关键决定可能已完成。最大危险可能不伴随蘑菇云，而会悄然出现，一步步看似合理推进。Nieder 建议不必先就超级智能或人类灭绝概率达成共识，而可先从AI不应独自打开的“门”开始，例如武器系统、关键基础设施、生物合成；政府可约定最低护栏、要求最重大行动有清晰人类授权、记录授权人，并国际分享严重失败和接近事故。

关键细节：历史与治理起点

Dr Anthony Harris（Emmanuel College, Cambridge）援引 Prof Jonathan Michie 8 月 26 日信中的线索：Donald Michie 在爱丁堡大学时期领导 Serbelloni group，早在 1972 年就讨论AI社会危险。AI并非全新，其脉络包括：

• 1957 年：Frank Rosenblatt 的 perceptron
• 1956 年：Dartmouth workshop
• 更早：Alan Turing 的思想影响
• 1973 年：Lighthill report 在英国引发“AI winter”

真正的新意是，如今已有强大硬件和软件基础设施，使AI以可怕速度推进。Lighthill report 后，英国AI重心转向美国，后果延续至今。Donald Michie 曾与 Turing 在 Bletchley Park 合作，并在 televised Lighthill debate 中反对削减AI研究，但无果；归于他的“Let there be Lighthill. And there was darkness”至今仍强烈共鸣。Harris 自称兼具计算机科学与人文学科背景，主张恢复“Serbelloni debate”，让科学与人文学科共同治理AI。

意义：全球系统性治理

David Kyler（Saint Simons Island, Georgia, US）批评 Miles Brundage 8 月 21 日题为“我在OpenAI工作过。我们现在需要这些护栏”的文章，未提及推动全球AI条约、寻求广泛政治支持的国际努力。该努力承接上月日内瓦 inaugural UN Global Dialogue on AI Governance；联合国秘书长呼吁随着AI扩展至武器和颠覆性、带偏见的公共监控，保持人类控制。Kyler 认为 Brundage 描述的分散式监管，会大幅增加实施及时、经国际谈判且有效AI控制的难度。AI、企业议程、国家安全与经济增长目标、能源密集数据中心扩张相互交织，无法靠碎片化渐进措施解决。创新加速会恶化先进AI最坏情形；无论意图多好，分散努力都会转移注意、造成关键延迟，阻碍系统性全球战略，预防破坏性结果。此类结果可能来自人类恶意使用AI，或失控算法的颠覆性、欺骗性活动，已有令人担忧的例子。两党对数据中心的反对虽有充分依据，但会分散控制AI、在可靠护栏建立前实施禁令或暂停令的政治注意力；这类似只处理症状，未寻找根本病因。当然可多管齐下：越早建立严格AI护栏，数据中心危害越少。像气候变化一样，先进AI威胁全球性，国际协调必不可少。