Fork me on GitHub

深度学习名词辨析

Posted on | Edited on | In | Views:

深度学习名词辨析

本文参考自：《Python 深度学习》2018 版

本文也会进行系列更新

注：以下名词并不权威，多是以直白的语言阐述的个人理解，仅供参考。

  1. 经典的程序设计：input：规则和数据，output：答案。但机器学习是一种新的编程范式：input：数据和答案，output：规则。
  2. 表示：input 数据的有用表示(即某种表现方式，通过变换数据做到，目的是使 input 更适合当前的任务)。机器学习模型就是为了能够为 input 的数据自动寻找到合适的表示。例：坐标变换，见下图：

 4. 操作空间：自动寻找表示的过程，通常只能是遍历一组预定义好的操作，这组操作就是假设空间。
      
      
  1. 利用反馈信号来寻找哪个操作更有效。
  1. 每个操作使用”权重”，即一串数字，来进行参数化。
 5. 深度学习：一系列连续的表示层，深度从数十层到数百层不等。
      
      
      1. 分层通常由**神经网络**的模型来学习得到。[理解]分层可以类比为多级蒸馏，每次蒸馏后，信息纯度越来越高，信息价值也就越高。
      2. 深度学习能够让特征工程自动化。
      3. 模型在同一时间共同学习所有的表示层，而不是依此连续学习。并且使用单一反馈信号来监督。
  
 6. 学习：将预期 output 跟当前 output 的差距进行比较得出衡量结果，进而优化算法。
      
      
  1. 学习的目的就是，为神经网络的所有层找到一组权重值，使得每个 input 都能够获得目标 output。

  1. 结果的衡量方式：使用神经网络损失函数（loss function），也叫目标函数。损失函数的 input 是预测值跟真实值，output 就是一个其偏差，偏差会转化为一个距离值。

  2. 优化过程：将距离值作为反馈信号，对权重值进行微调，以降低偏差。这种调节由优化器optimizer完成，实现了所谓的反向传播backpropagation。

  3. 支持向量机SVM的目标：解决分类问题，为两个不同类别的两组数据点之间找到良好的决策边界。做法：

        1. 数据映射到新的高维表示，决策边界用一个超平面来表示；
    2. 尽量让超平面与每个类别最近的数据点之间的距离最大化。
    • SVM 缺点：难以计算。
    • 缺点的应对办法：使用 kernel function（人为选择而非机器学习而来），将原始空间的任意两点映射为这两点在目标表示空间中的距离。

  4. 决策树：针对一个一个特征进行划分处理，更加接近人的思维按时，可以产生可视化的分类规则，产生的模型具有可解释性。

         1. 决策树的学习：自顶而下递归，以信息熵为度量构造一颗熵值下降最快的树，到叶子节点处熵值为 0。
     2. 随机森林：利用样本的随机和特征的随机，建立多棵决策树，这些树形成随机森林，通过投票表决结果，决定数据属于哪一类。
     3. 梯度提升机：较少的决策树就能够获得较高的准确率，在最优化目标函数的过程中导出的。[与随机森林的对比](https://yq.aliyun.com/articles/216164)。

  5. 深度卷积神经网络算法，应用在 CV、NLP 等感知任务的领域。

  1. 过拟合：[理解]机器学习模型在新数据上的性能比在训练数据上要差。比如，训练精度 99.9%，但是测试精度只有 60%，说明学习模型出现了过拟合。
  2. 张量：一种几乎总是存储数值的数据结构(通常存储的类型有：float32、uint8、float64 ，少量情况下的 char 等)，是矩阵向任意维度的推广。
    1. 具有维度/阶的概念，也就是某一张量中轴的个数，称为 ndim。
    2. 零维张量也叫标量，是仅包含一个数字的张量。
    3. 一维张量也叫向量，其实就是一个一维数字数组。
    4. 二维张量也叫矩阵，二维数字数组。
-------------The End-------------