📃 概述

深度学习、机器学习、人工智能之间的关系概述

先看一张人工智能、机器学习和深度学习三者关系示意：

概括来说，人工智能、机器学习和深度学习覆盖的技术范畴是逐层递减的。人工智能是最宽泛的概念。机器学习是当前比较有效的一种实现人工智能的方式。深度学习是机器学习算法中最热门的一个分支，近些年取得了显著的进展，并替代了大多数传统机器学习算法。

人工智能

人工智能是研发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。由于这个定义只阐述了目标，而没有限定方法，因此实现人工智能存在的诸多方法和分支，导致其变成一个“大杂烩”式的学科。

机器学习

区别于人工智能，机器学习、尤其是监督学习则有更加明确的指代。机器学习是专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构，使之不断改善自身的性能。

机器学习的实现

机器学习的实现可以分成两步：训练和预测，类似于我们熟悉的归纳和演绎：

• 归纳： 从具体案例中抽象一般规律，机器学习中的“训练”亦是如此。从一定数量的样本（已知模型输入𝑋X和模型输出𝑌Y）中，学习输出𝑌Y与输入𝑋X的关系（可以想象成是某种表达式）。
• 演绎： 从一般规律推导出具体案例的结果，机器学习中的“预测”亦是如此。基于训练得到的𝑌Y与𝑋X之间的关系，如出现新的输入𝑋X，计算出输出𝑌Y。通常情况下，如果通过模型计算的输出和真实场景的输出一致，则说明模型是有效的。

确定模型参数

确定参数的过程与科学家提出假说的方式类似，合理的假说至少可以解释所有的已知观测数据。

下图是以𝐻为模型的假设，它是一个关于参数𝑊和输入𝑋的函数，用𝐻(𝑊,𝑋)表示。模型的优化目标是𝐻(𝑊,𝑋)的输出与真实输出𝑌尽量一致，两者的相差程度即是模型效果的评价函数（相差越小越好）。那么，确定参数的过程就是在已知的样本上，不断减小该评价函数（𝐻(𝑊,𝑋)和𝑌Y相差）的过程，直到学习到一个参数𝑊，使得评价函数的取值最小。这个衡量模型预测值和真实值差距的评价函数也被称为损失函数（损失Loss）。

举例类比，机器如一个机械的学生一样，只能通过尝试答对（最小化损失）大量的习题（已知样本）来学习知识（模型参数𝑊），并期望用学习到的知识（模型参数𝑊），组成完整的模型𝐻(𝑊,𝑋)，回答不知道答案的考试题（未知样本）。最小化损失是模型的优化目标，实现损失最小化的方法称为优化算法，也称为寻解算法（找到使得损失函数最小的参数解）。参数𝑊和输入𝑋组成公式的基本结构称为假设。在牛顿第二定律的案例中，基于对数据的观测，我们提出了线性假设，即作用力和加速度是线性关系，用线性方程表示。由此可见，模型假设、评价函数（损失/优化目标）和优化算法是构成模型的三个部分。

机器执行学习的框架

机器学习的过程分为如下几步：

• 模型假设：世界上的可能关系千千万，漫无目标的试探YX之间的关系显然是十分低效的。因此假设空间先圈定了一个模型能够表达的关系可能，如蓝色圆圈所示。机器还会进一步在假设圈定的圆圈内寻找最优的YX关系，即确定参数W。
• 评价函数：寻找最优之前，我们需要先定义什么是最优，即评价一个Y~X关系的好坏的指标。通常衡量该关系是否能很好的拟合现有观测样本，将拟合的误差最小作为优化目标。
• 优化算法：设置了评价指标后，就可以在假设圈定的范围内，将使得评价指标最优（损失函数最小/最拟合已有观测样本）的Y~X关系找出来，这个寻找的方法即为优化算法。最笨的优化算法即按照参数的可能，穷举每一个可能取值来计算损失函数，保留使得损失函数最小的参数作为最终结果。

从上述过程可以得出，机器学习的过程与人类发现自然科学规律的学习过程基本一致，都分为假设、评价和优化三个阶段：

1. 假设：通过观察加速度a和作用力F的观测数据，假设𝑎和𝐹是线性关系，即𝑎=𝑤∗𝐹。
2. 评价：对已知观测数据上的拟合效果好，即𝑤∗𝐹计算的结果，要和观测的𝑎尽量接近。
3. 优化：在参数w的所有可能取值中，发现𝑤=1/𝑚可使得评价最好（最拟合观测样本）。

机器执行学习的框架体现了其学习的本质是“参数估计”（Learning is parameter estimation）。在此基础上，许多看起来完全不一样的问题都可以使用同样的框架进行学习，如科学定律、图像识别、机器翻译和自动问答等。

深度学习

机器学习算法理论在上个世纪90年代发展成熟，在许多领域都取得了成功应用。但平静的日子只延续到2010年左右，随着大数据的涌现和计算机算力提升，深度学习模型异军突起，极大改变了机器学习的应用格局。今天，多数机器学习任务都可以使用深度学习模型解决，尤其在在语音、计算机视觉和自然语言处理等领域，深度学习模型的效果比传统机器学习算法有显著提升。

那么相比传统的机器学习算法，深度学习做出了哪些改进呢？其实两者在理论结构上是一致的，即：模型假设、评价函数和优化算法，其根本差别在于假设的复杂度，如下图所示。

不是所有的任务都像牛顿第二定律那样简单直观。对于图中的美女照片，人脑可以接收到五颜六色的光学信号，能用极快的速度反应出这张图片是一位美女。但对计算机而言，只能接收到一个数字矩阵，对于美女这种高级的语义概念，从像素到高级语义概念中间要经历的信息变换的复杂性是难以想象的！这种变换已经无法用数学公式表达，因此研究者们借鉴了人脑神经元的结构，设计出神经网络的模型。