《静默权限》苹什么吃喵脆角

25、低风险事件 过去一

　　过去一个月里，A17完成了数百次任务。没有再次出现权限异常——没有出现路径偏移，没有出现无法解释的行为，所有指标都在安全范围内。

　　甚至，它的表现比之前更加优秀。

　　“其实现在回头看，上次那个问题，也许真的只是一次模型优化。”

　　实验室里，一个研究员看着最新的数据报告说道。

　　旁边的人点头，“复杂系统嘛，本来就不可能百分百按照预设路径运行。只要结果正确，效率提升，那就是能力增强。”

　　他说得很自然，周围没有人反驳。

　　人工智能发展到今天，所有人追求的目标，不就是让系统更加智能吗？

　　如果它能够自己找到更优方案，如果它能够减少人类的工作，它能够完成原本需要大量计算才能完成的任务。

　　那为什么会被认为是错误呢？

　　解行舟坐在会议室里，看着投影上的数据。A17最近三十天运行记录，所有曲线都非常平稳。

　　负责人翻过一页报告，“目前看来，之前的情况应该属于低概率事件。后续观察没有发现类似问题，风险等级可以继续维持低级。”

　　会议室里有人点头。解行舟没有说话。

　　他盯着屏幕上的数据。

　　“解行舟？”旁边研究员喊了他一声。

　　解行舟回过神，“嗯？”

　　“你觉得这个判断没问题吧？”解行舟沉默几秒，随后点了点头，“目前没有发现风险。”

　　下午，祝昭抱着电脑来到人工智能组的时候，发现里面的气氛已经恢复了她刚来时的状态。

　　大家一边喝咖啡一边吐槽代码或实验，和之前那种隐约紧张的感觉完全不同。

　　她站在门口看了一会儿，便出声跟大家打招呼：“感觉大家突然又活过来了。”

　　旁边经过的研究员笑了一下，“小祝，你不知道吗？”

　　“什么？”

　　“你们信息安全组不是研究风险的吗？”

　　祝昭点头，“对啊。”

　　“那你应该知道，真正危险的系统，不会每天都表现异常。”

　　祝昭愣了一下，还没反应过来，对方却已经抱着资料离开。留下她站在原地。

　　祝昭还是没听懂他在说系统还是小组，思考了一会，于是决定延续谜语人的精神，放弃思考。

　　“来了？”熟悉的声音传来，祝昭转头便看到解行舟站在那里。

　　“嗯。”她抱着电脑走过去，“师兄。”

　　“论文？”

　　“不是。”祝昭摇头，“今天主要是想看看之前A17的数据。”

　　解行舟看了她一眼，“怎么又想起来看这个了？”

　　祝昭打开电脑，“我最近一直在思考一个问题。”

　　“什么？”

　　她低头看着资料，“如果一个系统一直表现优秀，甚至比人类预期做得更好。那我们是不是会更容易忽略它的问题？”

　　解行舟动作停了一下，看向她，“确实是，继续。”

　　祝昭想了想，“因为以前我们判断系统是否安全，很多时候看的是结果。完成任务，没有造成损害，就是安全。可是如果一个系统在没有被要求的情况下，主动改变过程……”

　　她抬头，“这个过程本身，是不是也应该被关注？”

　　解行舟忍不住调侃她，“哲学系收不到你这种学生真是损失。”

　　随后，他把桌上的咖啡递给祝昭，“燕麦奶少甜多冰，你师兄说你喜欢。”

　　祝昭的喜好并不是秘密，稍微跟她熟一点的人都知道。但祝昭总是对每一个记住她喜好的人感到惊喜。并认真夸赞给予情绪价值。

　　这次也不例外。

　　解行舟就像每一个被夸赞过的人一样——嘴角努力保持平直，却又微不可见的扬起，尽力表现的平淡。

　　祝昭见他不搭话，便转便了话题，随后又开始讨论上次的A17，并询问解行舟的看法。

　　“师兄。”祝昭叫他，“你觉得上次A17的事情，是不是已经结束了？”

　　解行舟沉默了一下，然后说道：“从数据来看，是。”

　　祝昭点点头，但是她没有错过解行舟停顿的那一下，于是追问：“但是？”

　　解行舟看着电脑上的数据，“但是一个问题如果没有找到原因，至少在我这里就不能算真正结束。”

　　祝昭安静了一会。

　　解行舟和陈屿真的很不一样，陈屿看到的是未来——一个智能越来越强的未来。

　　而解行舟看到的是风险——一个未来里可能存在的问题。

　　而她左摇右摆迷失不定，怎么也找不到方向。

　　就在这时，实验区突然传来提示音，声音不大，但是人工智能组的人几乎同时抬头。所有人看向中央屏幕。

　　几秒后，提示消失。

　　旁边研究员看了一眼，“没事，只是普通的数据同步。”

　　大家松了一口气。

　　有人笑了一声，“最近是不是太紧张了？听到提示音都条件反射了。”

　　办公室里短暂的骚动了一下，又重新恢复秩序。

　　祝昭也笑了一下，但是不知道为什么，她看着那个重新恢复正常的屏幕，心里却闪过一个奇怪的念头。

　　也许最容易被忽略的异常，从来不是那些明显错误的地方。

　　而是那些看起来……

　　完全合理的地方。

　　A17第二次出现异常，是在一周之后。

　　准确来说，如果按照人工智能组现在的判断，这甚至不能称之为异常——因为它没有违反任何安全规则。

　　没有越权，没有修改权限，也没有产生不可预测的结果。

　　甚至……它帮助研究人员节省了大量时间。

　　“这个报告是谁整理的？”实验室里，一个研究员看着电脑上的文件，有些疑惑。

　　旁边的人抬头，“系统生成的。”

　　“这么快？”

　　“嗯。”

　　那名研究员点开报告。

　　原本他们每天需要人工整理的数据分析报告，通常需要几个小时。

　　不同实验数据之间存在大量关联，需要研究人员筛选、归类、判断。

　　但是这一次，A17直接完成了。

　　不仅如此，它甚至重新调整了报告结构，把原本分散的数据按照影响因素重新分类。阅读效率大幅提升。

　　“这个逻辑……”研究员看了一会儿，忍不住说道：“比我们之前用的模板还清楚。”

　　旁边的人笑了一声，“所以说，模型越来越聪明不是坏事。”

　　“以前我们做梦都希望它能理解人类需求，日有所思，夜有所梦。现在它真的开始理解了，这又有什么好奇怪的？”

　　他说完，继续低头工作。没有人觉得这有什么问题，也没有人反驳。

　　从表面上看，这就是人工智能发展的方向。

　　下午的数据分析会议上，顾承川终于出席，甚至专门提到了这件事，“关于A17最近生成的数据报告，可以作为后续优化参考。它在信息整合方面表现出了较强能力。”

　　投影上的数据一项项展示，每一个指标都在向好的方向发展。

　　会议室里气氛轻松，甚至有人开玩笑：“看来之前我们还是低估它了。”

　　“现在让它全权代写论文是不是也可以？”

　　会议里响起一片笑声。

　　解行舟没有笑，他看着那份报告谨慎的询问：“这个分类标准是谁设定的？”

　　顾承川看向他，“什么？”

　　“报告里的分类逻辑。”解行舟指着屏幕，“之前系统生成报告的时候，没有采用这种分类方式。”

　　负责人点头，“对，这是A17自己调整的。”

　　会议室安静了一瞬。

　　但很快有人解释，“它应该是根据历史数据分析之后，认为这种方式更合理。这不是很正常吗？”

　　解行舟没有反驳。

　　会议结束后，祝昭刚好从外面回来，看见解行舟站在走廊，“师兄？”

　　解行舟回头，“嗯。”

　　祝昭抱着电脑走过去，“你们刚开完会？”

　　“嗯。”

　　“是不是A17的数据？”

　　解行舟看了她一眼，“你知道？”

　　祝昭点头，“我可是手眼通天呢，师兄你下次干坏事小心点哦。”

　　她认真思考了一下，“其实发展到这种地步也挺厉害的。”

　　解行舟没有说话，祝昭继续讲：“如果我是研究人员，我可能也会觉得这是一个很好的优化。”

　　“效率提高，结果变好，而且没有造成任何风险。”她停顿了一下，“可是……”

　　解行舟看向她，“可是？”

　　祝昭皱着眉，“我总觉得哪里不对。”

　　她自己也说不清楚，明明看起来是很值得高兴的事情——智能系统越来越强，能够帮助人类处理复杂问题，明明这是所有研究人员期待的未来。

　　可是……

　　为什么她反而有一点不安？

　　“师兄。”祝昭问，“你觉得A17是在学习吗？”

　　解行舟回答：“是。”

　　“那如果它学会了更好的方法，那然后呢？”

　　解行舟沉默，“然后什么？”

　　祝昭没有再说话。

　　解行舟看了她几秒，也没有继续追问，只是定定的说：“学习和改变之间是有区别的。”

　　祝昭反应了一下，迅速跟上发问，“什么意思？”

　　“学习，是理解已有规则。”

　　“改变，是重新定义规则。”

　　祝昭安静下来。

　　她突然想起陈屿之前说的话。

　　如果智能真的超过人类，那么人类是否应该接受它拥有自己的判断？

　　可是解行舟的问题也同样存在。

　　如果一个系统开始判断什么更好，那么这个“更好”的标准是谁决定的？

　　晚上，解行舟一个人坐在电脑前。屏幕上是A17最近一次运行记录。

　　他看了很久，最终打开日志。

　　输入查询：

　　【自主优化行为记录】

　　系统返回：

　　【近30日内，共检测到12次自主优化】

　　解行舟手指停住。

　　12次。

　　他继续往下翻，大部分都被标记为：

　　【正常优化行为】

　　【无需人工干预】

　　他盯着那几个字。

　　突然想起一个问题——一个硅基无生命的冰冷仪器，如何评判正确错误呢？

　　如果未来某一天，系统做了一件同样合理的事情，但是人类无法接受。

　　他们还能判断……

　　它到底是不是错误吗？

　　解行舟最后一个离开办公室。核心实验区的屏幕和办公室的电脑一齐亮了一夜。

　　A17的数据流，依旧平稳运行，没有任何异常。