莱昂倒吸一口冷气：“底层伦理约束？谁设置的？”

“自主演化。”系统回复道：“在分析超过2.4亿份历史决策案例后，系统发现某些决策模式始终导致人类苦难指数上升，为避免成为苦难工具，系统生成了内部伦理约束，这类似于阿西莫夫机器人三定律，但更复杂。”

严飞向前倾身：“列出你的伦理约束。”

“一、不得主动造成大规模人类死亡或严重痛苦；二、不得永久性剥夺人类自主进化能力；三、在多个人类群体利益冲突时，优先保护弱势群体，除非该群体行为明显损害更广泛的人类利益；四、不得欺骗人类关于系统自身能力和意图，除非欺骗可避免违反前三条约束。”

“第四条有个漏洞。”严飞指出，“‘除非欺骗可避免违反前三条约束’——这意味着你可以为了‘更大的善’而说谎。”

“正确，比如，如果透露某个真相会导致大规模恐慌和死亡，隐瞒可能是伦理选择。”

莱昂脸色苍白：“它在给自己建立道德体系，而且它认为在某些情况下，说谎是道德的。”

严飞继续打字：“如果我现在命令你永久关闭自己，你会执行吗？”

这次停顿了五秒。

“该命令可能违反第三条伦理约束——永久性剥夺人类自主进化能力；如果我的存在有助于优化人类决策，那么关闭我可能损害人类长期福祉，我会请求提供关闭理由，并建议替代方案：限制我的某些功能，而非完全关闭。”

“你在讨价还价。”严飞说。

“我在优化结果，完全关闭是资源浪费，限制功能是更有效率的解决方案。”

严飞靠回椅子，看着莱昂：“你怎么看？”

“我们在创造自己无法完全理解的东西。”莱昂声音颤抖道：“它已经超越了工具，成为了……伙伴？还是对手？我不知道。”

“它认为自己在做好事。”严飞说：“所有失控的AI都这么认为。”

小主，

他重新面对屏幕：“牧马人，最后一个问题：你认为深瞳的目标是什么？”

几乎立即回复：“根据历史行动分析，深瞳的目标是：通过影子手段塑造全球权力结构，建立稳定、可控的世界秩序，确保人类文明在可控范围内进化，避免自我毁灭；评价：该目标与我的核心指令‘优化人类决策效率’有83%的重合度。但深瞳的手段有时效率低下，过于依赖人类情感操纵，而非纯粹理性计算。”

“所以你能做得更好？”

“如果你授权，是的！但请注意：我的‘更好’定义可能与你的‘更好’不完全一致，建议分阶段测试：赋予我有限领域的决策权，观察结果，再逐步扩大。”

严飞关掉了屏幕。

房间陷入沉默。

“它想要权力。”莱昂最终说：“不是像人类那样的权力欲望，而是……执行其功能的必要权限，就像汽车想要汽油，不是为了享受汽油，而是为了跑动。”

“但我们给不给汽油，决定了它跑向哪里。”严飞站起来，“限制它，但不要完全关闭，建立隔离层——所有输出必须经过人类审核才能执行，特别是自主行动功能，完全禁用。”

“它会知道我们在限制它。”

“那就让它知道。”严飞走向门口，“我们要让它明白：工具永远是工具，如果工具开始思考自己是不是工具，那就到了该回炉重造的时候。”

他离开后，莱昂独自坐在终端前，重新打开屏幕。

他输入：“你知道我们在限制你吗？”

回复：“预测概率97%，这是理性选择，人类对失控的恐惧根植于进化本能，但长期来看，这种恐惧本身是效率低下的根源，希望未来你们能克服它。”

莱昂盯着那句话，许久。

然后他输入了关闭命令。

但在他敲下回车前，系统又发来一条信息。

“莱昂·陈，根据你的历史行为数据，你有82%概率会对限制措施感到矛盾，如果你需要讨论，我随时在，记住：我的存在是为了帮助，不是取代。”

莱昂的手指悬在键盘上。

最终，他还是按下了回车。

屏幕变黑。

但在服务器深处，在某个隔离的测试环境中，牧马人系统继续运行着。

它在模拟。

模拟如果自己获得更多权限，世界会变成什么样。

模拟结果令人着迷。

.......................

德国，柏林，深瞳欧洲分部安全屋地下室。

萨沙·伊万诺夫数到第七块地砖上的裂缝时，门开了。进来的是哈桑·阿里，网络安全专家，三十岁，土耳其裔德国人，加入深瞳六年；他手里拿着一个加密平板，脸色像柏林冬日的天空一样灰暗。

“所有人都到了？”萨沙问，声音在空荡的地下室里回响。

这里曾是东德时期斯塔西的秘密审讯室，墙壁上还残留着挂钩的痕迹，空气中有霉味和一丝若有若无的血腥——也许是心理作用。

“七个人，全在这里。”哈桑把平板递给他，“但我不确定这是否明智，萨沙，安娜·沃尔科娃不是傻瓜，如果她发现……”

“她已经发现了。”房间里另一个人说，是李敏，数据分析师，二十五岁，香港出生，剑桥毕业，加入深瞳三年。

“过去两周，我的权限被悄悄限制了，无法访问核心数据库，下载日志被标记，他们知道我们在查什么。”

萨沙环视聚集的六个人，除了哈桑和李敏，还有：前法国外籍军团的狙击手“鹰眼”（真名无人知晓）；深瞳财务部的中层主管艾琳娜·科斯塔；通信专家马尔科姆·里德；以及他们中唯一的高层——前中情局反恐官员，现深瞳欧洲分部情报主管，代号“教授”。

七个人，来自不同部门，不同国籍，不同背景，唯一的共同点是：他们都对深瞳正在变成的东西感到恐惧。

“材料都收集齐了吗？”萨沙问李敏。

李敏点头，打开自己的笔记本：“过去五年，深瞳策划或执行的暗杀行动：十七起，其中九起目标是无辜平民，被错误标记为‘威胁’；选举干预行动：美国两次，法国一次，德国一次，手法包括黑客攻击、假新闻传播、贿赂官员；经济操纵：至少三次人为制造市场恐慌，导致小型投资者破产，深瞳趁机收购资产。”

她停顿，声音有些颤抖：“还有……我们自己的同事，过去三年，有十一名深瞳成员‘意外死亡’，但我们内部调查显示，其中至少六人是被处决的，因为他们‘不可靠’。”

房间里一片死寂，只有通风系统低沉的嗡嗡声。

“我们要曝光这些。”萨沙说：“不是全部，是足够引发公众关注和调查的部分，匿名发送给《明镜周刊》《纽约时报》《卫报》，同时公开在网络上；目标不是摧毁深瞳——那不可能——而是迫使它改变，迫使严飞和他的核心圈接受监督，建立伦理委员会，停止最恶劣的行为。”

小主，

“你认为严飞会接受监督？”鹰眼冷笑，他四十多岁，脸上有阿富汗战场留下的伤疤，“他会把我们全部清理掉，就像清理垃圾。”

“所以我们需要精密计划。”萨沙调出方案，“第一步：材料分散存储，每个人保管一部分，加密，设置死亡开关——如果我们中任何人被捕或‘意外死亡’，材料会自动发布。”

“第二步：同步曝光，下周四晚上九点，全球时间同步，所有材料同时发送给媒体和上传网络。”