第一二〇章 分析

中，方然对这类系统的黑盒子性质有了更直观、更深刻的理解，也部分理解了为什么一部分计算机、人工智能研究者，始终对AI心怀恐惧。

    人创造出来的东西，却未必能被人控制，人工智能，原则上是存在这样的可能。

    开发人工智能的直接动机，很显然，倘若不是出于莫须有的“研究意识”、甚至“百无聊赖”之类理由，显然是为了解放人的辛劳，是为了利用人工智能去解决人类难以解决、甚至无法解决的问题，那么从逻辑上讲，对复杂度越过某种门槛的AI，运作过程必定不是人能够完全解析的。

    这种不能够，并非理论上的做不到，而是解析的时间会长到脱离实际，根本就不现实。

    想到这，方然不是在杞人忧天，认为人类创造的AI会脱离控制、自作主张，而是说作为人工智能的使用者，对AI正在做什么，并没办法有很切实的把握。

    这对系统开发者来说并不成问题，但是对使用者，则潜藏着这样的风险：

    对AI的实际行为，不管开发者怎样声称、怎样保证，都没办法验证这些声称、保证究竟是真的靠谱，还是完全的欺骗。

    归而总之，还是此前想到的那一个难题：

    除非开发者主动放弃，否则，对复杂度超限的系统，没有任何百分之百可靠的手段，可以确保除开发者之外的任何人将其完全掌控。

    思考着ASA的行为，“权限不可转让”的猜想，再度浮现于方然的脑海。

    但他想了又想，还是无法给出证明。

    幸好现在还无关紧要，至少对ASA，身为开发者的自己并不担心它会失控，方然就暂且将猜想放到一边，他仔细观察“自动化搜索与分析”系统的日志，结合每天的分析报告，逐渐洞悉了这系统的运行规律。

    看起来，正仿佛一个物理意义上的大脑，ASA的运行思路，恰似人脑。

    这种相似性，与“自我意识”的讨论无关，而是说眼前的人工智能在处理问题时，采取的广泛尝试、不断反馈的策略，与人脑在面对问题时的工作方式很相似。

    想象一个人，在尝试解决试卷上的数学题时，究竟是怎样思考，想出办法呢；

    大脑的思考过程，人皆有之，却好似很难用语言来清晰描述，教师指导学生，也往往是泛泛的“认真想一想”、“换个思路想”，其实这时候大脑究竟在做什么呢，无非是利用以往积累的神经突触网络，发动神经刺激，将所有可能涉及到题目、可能给出解决方案的神经连接路径都尝试一遍而已。

    这过程中，绝大多数路径都指向“否决”，极少数路径一时没有被判无效，或许，还会连通到逻辑关联的其他路径，运气好的话，在经历难以想象的繁复生物电过程后，大脑会半回顾、半新创的给出一条可行路径，问题才得以解决。

    这种过程，在人工智能领域，似乎就是所谓的“神经网络”。