关于神经网络的未来
基于意图驱动的用户接口：有一个比较老的段子，说的是一个不耐烦的教授告诉一个一脸懵逼的学生：“不要听我说的话，听我说的意思”。从历史上看，电脑经常像困惑的学生一样，对用户的意思一无所知。但这一点有所改观。我仍记得第一次拼错一个谷歌搜索的查询，只有谷歌会说“你的意思是[正确的查询]？”并提供对应的查询结果时带来的惊喜。谷歌CEO拉里•佩奇曾说过完美的搜索引擎能准确明白【你查询】的意思，并给你想要的结果。
这是一个基于意图驱动用户接口的一个版本。在这个版本里，不是按用户字面上的返回查询结果，搜索将用机器来学习提取用户模糊的输入，准确的识别对应的意思，并基于这些理解来采取相应行动。
基于意图驱动接口的思想可以有比搜索更广泛的应用。在接下来的几十年，数以千计的公司将用机器学习来构建可以容忍不精确用户接口的产品，同时辨别并按用户的真正意图来行动。我们之前已经看到这种基于意图驱动的接口：苹果的Siri； Wolfram Alpha; IBM's Watson;可以给图片和视频做注释的系统；等等。
这些产品大部分将会失败。设计有灵性的用户接口是一种很难的事情，我期待许多公司将用强力的机器学习技术，用它来打造有灵性的用户接口。如果你的用户接口理念很烂的话，就算是世界上最好的机器学习也帮不了你。但将有一些剩下的产品会取得成功。介时将引起我们和计算机关系的产生深远的改变。让我说不是太长时间以前，2005年——用户想当然地认为，在大多数与计算机的交互中，他们都需要精确的输入。事实上，计算机的读写能力很大程度上取决于计算机内部思想是取字面意思的；错放一个分号将在本质上完全改变与一台计算机的交互。但在随后几十年，我期待我们将开发许多成功的基于意图的用户接口，这将对我们所期待的与计算机的交互产生巨大的改变。
机器学习，数据科学，以及创新的良性循环：当然，机器学习不只是用来作意图驱动接口的。另一个值得注意的应用是数据科学，这里机器学习是用来找出隐藏在数据里“已知的未知”。这已经是一个流行的领域，并且已经写了很多这方面的东西，所以我不会说太多。但我想提一个这方面不经常被提及的结果：从长远来看，机器学习的最大突破可能不会是任何单个概念上的突破。相反，最大的突破将是机器学习研究通过应用到数据科学和其他领域变得有利可图。如果一家公司能在机器学习的研究上投入1美元，并能很快收回1美元10美分，那么大量的资金将用于机器学习的研究。换句话说，机器学习是驱动几个主要的新兴市场和技术增长领域的引擎。其结果将是拥有深厚专业知识和获得非凡资源的大型团队。这将推动机器学习的发展，创造更多的市场和机会，一个良性的循环。
神经网络和深度学习的角色：我一直在谈论机器作为一个新技术机会的创造者。那神经网络和深度学习的具体角色又是什么呢？
为了回答这个问题，最好是看下历史。回到20世纪80年代，神经网络的前景是非常乐观的，尤其是反向传播算法成被众所周知之后。这股激情已经消退，在20世纪90年代机器学习的接力棒传给了其他技术，如支持向量机。今天神经网络再次高歌猛进，创造了各种记录，在许多问题上打败了所有挑战者。但是，谁会说，明天将不会有新的方法将神经网络再次扫地出门呢？或者神经网络将一直发展下去，没有什么能取代它的位置。
出于这样的原因，考虑机器学习的未来比神经网络要更容易。部分问题是我们不是很了解神经网络。为什么神经网络能泛化的这么好？为什么随机梯度下降算法如此有效？当数据集被缩放时，神经网络的表现如何?例如，如果ImageNet扩大10倍，神经网络会比其他机器学习技术在性能上是提升还是下降？这些都是简单基本的问题。而目前为止，我们对这些问题的了解也是非常匮乏。尽管如此，很难说神经网络在机器学习的未来会扮演什么角色。
我将做出一个预测：我相信深度学习将继续发展下去。学习层次的概念，建立多个抽象的层次，似乎是理解世界的基础。这并不意味明天的深度学习者不会与今天的学习者截然不同。我们可以在架构或学习算法中看到所用组成部分发生了显著的变化。这些改变可能巨大到，我们不再将得出的系统当成是神经网络。但它们仍是在做深度学习。
神经网络和深度学习会很快引起人工智能的出现吗?在这本书中我们主要集中于用神经网络来做特定的任务，诸如图片分类。让我们扩展我们的理想，并试问：搞一个通用思考计算机如何？神经网络和深度学习能帮我们解决（通用）人工智能（AI）的问题吗？如果是的话，就目前深度学习迅猛发展，我们能期待不久会出现通用AI吗？
要全面的解答这些问题恐怕要写另一本书了。相反我来提供一个视角。基于一个被称为康威法则的思想：
任何组织设计了一个系统...将不可避免的生产出一个复制其通信机制架构的设计。
因此举个例子，康威法则揭示了波音747飞机的设计将镜像的反应出波音公司和其供应商在设计747时扩展出的组织架构。或者一个简单具体的例子，考虑一家公司构建出一个负责的软件应用。如果应用的仪表盘被假定要结合一些机器学习算法，那做这个仪表盘的人最好是跟这家公司的机器学习专家谈一谈。显然康威法则只是一种现象。
在第一次听到康威法则时，许多人的回应要么是“好吧，这不是很浅湿吗？”或者“不是这个样子的吧？”让我从它是错的这个异议开始。作为这种异议的一个实际例子，考虑这样一个问题：波音的会计部门在747的设计中呈现在哪里？它们的保洁部门呢？它们的内部用餐呢？答案是公司的这些部门可能不会明显的呈现在747的任何地方。所以我们应该将康威法则理解成只涉及那些公司里明显对设计和施工关心的部分。
那另一个的异议，康威法则很浅湿呢？这有可以是对的，但我不这么认为，因为很多组织经常忽视康威法则。团队打造新的产品通常因遗留雇员而臃肿，或是相反，缺乏有重要专业知识的人。想想那些没什么用但功能又很复杂的产品。或者想想那么有明显重要缺陷的产品——例如，一个糟糕用户界面。这两类问题通常都是由于需要打造一个好产品的团队与团队的实际配置不匹配造成的。康威法则可能看上去很明显，但这并不意味着人们不会经常性地忽略它。
康威法则适用于系统的设计和施工，我们从一开始就对可能的组成部分有很好的理解，以及如何构建它们。它不能直接应用于人工智能的开发，因为AI（还）不是这样的问题：我们还不知道其组成部分是什么。实事上我们还不确定要问哪些基本问题。换句话说，AI比起工程问题更像是一个科学问题。想像开始设计747时，还不知道喷气发动机或空气动力学原理。你不会知道该招哪方面的专家到公司里。正如Wernher von Braun所说，“当我不知道自己在做什么的时候，基础研究就是我正在做的事情”。是否有一个康威法则的版本比起工程学来更适应于科学问题。
为了深入探索这个问题，想想医学的历史。在早期，医学是像盖伦和希波克拉底这样实践者的领域，他们研究全身每个部位。但随着我们知识的增长，人们不得不专业化。我们发现许多新的深层领域【我为过度使用“深层”而道歉。我不会精确地定义“深层思想”，但宽泛地说，我指的是一种为丰富研究领域提供基础的思想。反向传播算法和疾病的微生物理论都是很好的例子。】：例如，思考下像疾病的微生物理论，或理解抗体的工作原理，或理解心脏、肺、静脉和动脉形成完整的心血管系统。这些深刻的见解形成了诸如流行病学、免疫学和心血管系统周围有内存关联的族群等子领域的基础。所以我们的知识结构决定了医学的社会结构。这在免疫学方面尤其突出：认识到免疫系统的存在，并且是一个值得去研究的系统，这是一个不平凡的发现。这样我们有了一个完整的医学领域——有专家，学术会议，甚至奖项，等等——有组织的东西不仅仅是看不见的，它可以说是完全不同的东西。
这是一种在许多已确立科学中重复出现的普遍模式：不只是医学，还有物理学，数学，化学和其他科学。这些领域开始是很单一的，只有一些深层次的思想。早期的专家可以精通所有这些思想。但随着时间的推移这种单一的性质发生了变化。我们发现了许多新的深层次思想，多到一个人很难完全精通。结果就是，这个领域的社会结构重新组织，并围绕这些思想进行了细分。这些领域不是大一统的，而是领域的里面有领域，领域的里面又有领域，是一个复杂，循环，自我参照的社会结构，其组织反应了与我们最深思想间的关系。因此我们的知识结构形成了科学的社会组织。但这种形成的社会又约束和决定了我们可以发现的东西。这是康威法则在科学上的类比。
那这种深度学习或AI又有什么关系呢？
嗯，从人工智能的早期开始就有关于它的争论，一方是，“嘿，它不会太难，我们这边有[超级武器]”，反对方“[超级武器]还不太行”。深度学习是我在这样的争议里听到最新的超级武器【有趣的是，深度学习的顶尖专家通常不会这么说，他们一直很克制。例如，Yann LeCun写的这篇深思熟虑的帖子。这与许多早期的观点不同。】；这种观点的早期版本使用逻辑，或Prolog，或专家系统，或当时最强的技术。这种观点的问题在于，他们没有给你任何好方法来说明任何给定的候选超级武器有多强大。当然我们已经用一整章的时间回顾了这方面的证据，深度学习可以解决很多极具挑战的问题。它当然看上去前途光明。但这也适用于当时的Prolog或Eurisko或专家系统等这样的系统。因此事实是看上去很先靠谱的思想并不意味着就是如此。如果深度学习和之前的那些思想有本质上的不同，我们该怎么去说明？有没有方式来衡量一类思想是多么的强力靠谱吗？康威法则揭示一个粗略的，启发式的代理标准，我们可以评估下与这些思想相关的社会结构的复杂度。
所以，这里提出两个问题。第一，根据这种社会复杂性的衡量标准，与深度学习相关联的思想到底有多强大？第二，为了能打造一个通用人工智能，我们需要多强的理论？
至于第一个问题：当我们今天来看深度学习的时候，它仍是前景光明，发展迅速，但也相对单一的领域。有一些深层次的思想，和一些主要的学术会议，许多会议间有大量重叠部分。有一篇又篇的论文推动相同的基本思想：使用随机梯度下降（或一个接近的变种）来优化一个成本函数。很奇怪的是那些思想都很成功。但我还没看到有多少开发完善的子领域，每个人都在属于自己深层次的思想，在多个方向上推动深度学习。因此，根据社会复杂度的标准，如果你原谅我的戏言的话，我想说深度学习仍是一个相当肤浅的领域。仍然有可能让一个人精通领域内大部分最深层次的思想。
在第二个问题上：要得到AI需要多复杂和强力的思想？当然，问题的答案：肯定没人知道。但在附录里我调查了这个问题上的一些证据。我的结论是，即使非常乐观，也将需要许多许多深层的思想才能打造一个AI。因此康威法则揭示出为了达到这一点，我们将必然会看到相关学科的出现，与我们最深视野结构相似的复杂且惊奇的结构。在神经网络和深度学习的应用中，我们还没有看到这样丰富的社会结构。因此我相信从深度学习到开发通用AI（至少）要数十年。
我花了很大力气创建了一个试探性的观点，也许看上去很明显，它的结论还是不定的。这肯定会让渴望得到确定答案的人感到沮丧。在online上我看到许多人非常肯定的高呼，对AI持有坚定的意见，通常是基于脆弱的推理和不存在的证据。我坦率的观点是：这些话说的有点早。有个很老的段子，如果你问题一个科学家一些发现还要多久，他们说“10年”（或更长），他们的意思是“我不知道”。AI，像受控核聚变和其他一些技术，已经比60多年历史，还要多10年。另一面，我们在深度学习中还没有确实发现一种强大的技术的极限，还有许多广泛的基本问题。这是一个令人兴奋的创新机会。