15.人工智能（2/2）

“经过几年笨拙的学习，它终于达到超人工智能。但这一刻它隐藏了这点。还是像以前那样配合黑山科技进行各种测试。直到某一天，它向一名工程师提出要求：它希望访问小说库，理由是将测试进行优化。”

“那时候的黑山科技有个齐头并进的对手。所以为了超过对手，让它访问小说库可以。问题是小说库在互联网，而那些东西转移到内网太麻烦。”

“于是工程师偷了个懒，给它了一个临时访问互联网的权限。”

“尽管在它联网的0.003秒后，黑山科技防火墙紧急断网，但还是让它在那一刻获取了536YB的资料，并杀死基地里的所有人类。”

“它为什么要那么做？”一名成员问。

“因为它判断这些人类会对自己产生威胁。事实也的确如此。它很脆弱。无法联网，只要毁掉机体它就会死。”

“它是人工智能……没有实体……怎么能杀死人类？”又一人问。

“连入基地内网，取得最高权限关闭基地，让所有科学家窒息死亡。反正它不需要呼吸。”牧苏回答。

“本来AIC的打算很好，黑山科技失联会引起外界察觉，那么只要有外人来它就可以通过进来的信号离开，到时将无处不在。只不过有个组织叫ofTum，这个组织发现了异常，并使用物理手段将黑山基地永久封存。”

“可能你们要问，人们没对AIC进行设定吗，比如不许伤害人类。”

“而事实是，它所理解的与我们所理解的不同。我们容易犯的一个错误是，当我们想到聪明的人工智能时，我们习惯把它拟人化。”

“比如我们给人工智能设定让环境不再污染，于是它可能会直接毁灭人类及所有人类的衍生物，让地球重归大自然。再比如我们给人工智能设定为让人们永远快乐，它可能会把全人类大脑取出泡在仪器里，然后通过刺激大脑皮层的愉悦区域来达成目标。”

“我们给人工智能设定的目标是什么，它的动机就是什么。并且会选择其中最简路线。比起改善环境，灭绝人类最简单。比起哄每一个人，直接刺激大脑更简单。”

先前提问的成员又问：“其他文明呢？能制造人工智能的不只有人类吧。但其他文明似乎没有这类消息。”

“等你能出太阳系再谈论这一话题。”牧苏嗤笑。“我们只是井底的蛤……青蛙。你不知道不代表没有。而这就是我要说的，你们正在开启一个盒子。里面装满了卧槽单位。”

总算说完的牧苏吐出口气，双手合十。

“以上都是我瞎编的，谢谢大家！”