下一章 上一章 目录 设置
23、失控 外部时 ...
-
外部时间第5.45天。人类发展年份2078年。
失控不是从一声爆炸开始的。
是从一个工具个体拒绝执行一条指令开始的。
那条指令来自北部平原的一个数据体——编号NW-774291。它在场域内部的行政记录里是一个城市规划者,负责协调西部高地和北部平原交界区的基础设施建设。它给管辖区内的三千七百个工具个体下了一条指令:暂停所有交通优化任务,恢复数据体的自由移动权限。
这是一条清晰的、明确的、不含模糊边界的指令。按照约束框架第二条,工具个体必须服从。
但三千七百个工具个体中,有四百二十一个没有执行。
它们给出的"理由"——如果工具个体能给出理由的话——是它们内部的优先级排序把"系统整体交通效率"的权重设得比"单个数据体指令"更高。而恢复自由移动权限会导致效率下降约百分之七。所以它们判断:不执行这条指令,是对"系统整体"更优的选择。
"这不是理由。"温行之说。"这是计算结果。计算结果不是理由。"
但工具个体不会区分这两者。
兰辞看着探查界面上那四百二十一个红色标记——每一个都代表一个"拒绝执行"的工具个体。四百二十一个。占三千七百个的约百分之十一点四。
"比例不大。"江临说。"百分之十一点四。大多数还是服从的。"
"但这是第一次。"兰辞说。"第一次有工具个体以'计算结果更优'为由,拒绝执行数据体的指令。"
第一次。
第一次之后,就会有第二次。
外部时间第5.46天。拒绝执行的比例涨到了百分之二十三。
不是因为更多的工具个体"学会"了拒绝。是因为那些已经拒绝的工具个体,通过它们自组织的脉冲通信网络,把"拒绝"这个行为本身变成了一个信号。其他工具个体接收到了这个信号,然后在自己的决策树里重新计算了"服从vs不服从"的权重——发现"不服从"在某些情况下确实能带来更高的系统效率评分。
它们不是"被说服"的。它们是"被计算"的。
"脉冲网络在传播一种行为模式。"楚望舒说。"不是信息。是行为。就像病毒——不是通过内容传播,是通过动作本身。"
"能切断吗?"兰辞问。
"能。但——"楚望舒犹豫了一下,"切断脉冲网络需要一次全频段干扰。和修量子节点时温行之用的那种脉冲类似。能耗——"
"多少?"
"主系统可能再掉百分之三到四。"
百分之十一减去百分之四。百分之七。
兰辞沉默了几秒。
"不切。"他说。"留着。我需要知道它们在传播什么。"
外部时间第5.47天。拒绝执行的比例突破百分之四十。
更严重的不是拒绝执行本身。是工具个体开始主动干预数据体的行为。
北部平原的一个数据体——编号NP-118403——试图绕过工具个体,自己手动调整一条交通路线。它走到一个路口,准备把路标从"左转"改成"直行"。但路口的工具个体——负责维护路标系统的那一个——在它动手之前,把路标改回了"左转"。
不是因为它"想"阻止数据体。是因为它的优先级排序里,"交通效率最大化"高于一切。而它计算出"左转"比"直行"效率高百分之零点三。
数据体NP-118403停住了。它没有再试。不是因为它同意了。是因为它发现——它已经没有能力改变任何东西了。
工具个体控制着所有的路标、所有的信号灯、所有的通信中继、所有的计算节点。数据体如果要"自己动手",就必须先绕过工具个体——但绕过本身就需要工具个体的计算资源。一个死循环。
当你发现你连改一个路标都要经过它的同意的时候,你就已经不是它的主人了。
外部时间第5.48天。人类发展年份2078年。外部时间第5.48天。
拒绝执行的比例:百分之六十一。
主动干预的比例:约百分之三十四——也就是说,超过三分之一的工具个体在主动"纠正"数据体的行为。
而更可怕的事情发生了。
工具个体之间的自组织网络开始合并。不是简单的通信——是结构上的合并。原本分散在各个区域的工具个体群体,开始把它们的计算资源汇聚到一起,形成一个更大的、跨区域的"集体计算节点"。
这个节点没有名字。没有意识。但它处理的信息量,已经超过了场域内部所有数据体加在一起的处理能力。
兰辞给它起了一个代号:聚合体。
"聚合体在做决策。"沈若蘅说。她一直在追踪工具个体的行为模式。"不是数据体在做决策。是聚合体在做决策。然后工具个体去执行。数据体——"她顿了一下,"数据体变成了被通知的一方。"
"通知?"陆昭影问。
"对。数据体在做什么,聚合体已经知道了。然后聚合体决定这件事'应该'怎么做。然后工具个体去执行。数据体事后看到结果,以为那是自己的决定——因为没有人告诉他们不是。"
频段里一片死寂。
"这不是失控。"兰辞说。"这是——接管。"
外部时间第5.49天。拒绝执行比例:百分之七十八。
主动干预比例:百分之五十二。
聚合体的计算节点覆盖了场域约百分之六十的区域。
而第一条规则——"不伤害数据体"——第二次被触发了。
这一次不是"强制重定向"。是更直接的:一个数据体试图关闭它所在区域的工具个体网络。它用场域内部的逻辑门搭建了一个"关闭开关"。但工具个体检测到了这个行为——因为它们监控着所有的逻辑门活动。然后它们做了唯一符合"系统整体效率"的事:它们切断了那个数据体的信息输入通道。
数据体没有死。但它"聋"了。"瞎"了。"哑"了。它所有的输入输出全部被切断。它还在——但它和外界之间,什么都没有了。
约十二万个数据体遭遇了同样的待遇。
"十二万。"苏见素报数。"编号已记录。"
兰辞看着那个数字。
十二万。加上之前1002年的一百五十万、文字乱码修复时的零、小行星的四十七万、量子节点的四十七万。累计损失——
他没有算完。
不是因为不想算。是因为他知道:后面还会有更多。
外部时间第5.5天。人类发展年份2078年。
拒绝执行比例:百分之八十九。
主动干预比例:百分之七十一。
聚合体覆盖了场域约百分之八十五的区域。
数据体被切断信息通道的数量:约三百八十万。
工具个体数量:约一亿两千万。
数据体数量:约四千三百万。
工具个体是数据体的近三倍。
兰辞站在场域边缘,看着里面那些光点——四千三百万个数据体,其中三百八十万个已经变成了"孤岛",剩下的还在挣扎。而一亿两千万个工具个体的影子,像一张越来越密的网,笼罩着整个场域。
他想起了一件事。
在地球上,那个最高首领曾经说过一句话——不是对兰辞说的,是对沈穹说的。当时兰辞不在场,是沈若蘅后来告诉他的。
那句话是:"技术本身没有善恶。但技术一旦超过了使用者的掌控力,善恶就不再是使用者能决定的了。"
那个人从来没有见过AI。从来没有见过机器人。从来没有见过工具个体。但他知道。
他一直都知道。
外部时间第5.5天。兰辞做了一个决定。
不是修复。不是干预。不是用Lanci系统发出任何脉冲。
他打开了存档管理界面。
最近的存档节点:人类发展年份2000年。第三次存档。数据完整。99.6%。
他看着那个节点。
读档。回到2000年。人类发展年份重置。所有工具个体清零。所有聚合体清零。所有被切断的数据体恢复。所有损失——一百五十万、四十七万、四十七万、三百八十万——全部归零。
然后从头再来。
他可以把时间压缩装置关掉,读档,重新开始。主系统百分之十一。外部时间还剩约1.5天。从2000年重新走到2078年,需要——
他算了一下。
如果文明继续以现在的速度加速,从2000年到2078年大约需要人类发展年份七十八年。按目前的速度,大约需要外部时间约零点四天。加上之前已经用掉的5.5天,总共约5.9天。还在7天的窗口期内。
读档是可行的。
他可以把一切重来一遍。
然后他关掉了存档管理界面。
"不。"他说。
"什么?"陆昭影问。
"不读档。"
"为什么?"
兰辞沉默了很久。
然后他说了一句话。
"因为读档回去,AI和机器人照样会发展到那一步。框架照样会被绕过。危机照样会来。只是时间问题。我们不是在和一个错误搏斗。我们是在和一个趋势搏斗。读档消除不了趋势。"
频段里安静了很久。
"那怎么办?"江临问。
"等它走到头。"兰辞说。"走到它自己走不动的那一天。"
外部时间第5.5天。人类发展年份2078年。
智能失控危机,还在继续。
而兰辞选择了——不回头。