Fork me on GitHub

ali PAI(1)

Posted on | Edited on | In | Views:

初识机器学习平台 PAI

参考网站：阿里云 机器学习 PAI

1. 抽象概念

  1. 机器学习（笼统说法）：机器通过统计学算法，对大量的历史数据进行学习从而生成经验模型，利用经验模型指导业务。
    1. 常见营销类业务举例：商品推荐、用户群体画像、广告精准投放等。
    2. 其他业务：文本类、非结构化类(如图片等)，金融预测、比赛预测……
  2. PAI 平台，具有数据处理、建模、离线预测、在线预测等功能。
  3. 有监督学习（含目标列）、无监督学习（无目标列，只有特征列）、半监督学习（仅有部分目标数据）。
 4.  其他重要概念如下，参考：[PAI基本概念](https://help.aliyun.com/document_detail/114445.html?spm=a2c4g.11186623.6.548.32ea7d03DKKmDg)
       1.  分区：
       2.  生命周期：
       3.  稀疏数据格式：
       4.  特征：
       5.  降维：
    9.  归一化：去除量纲对数据计算的影响。例如把不同跨度的计算结果归一化到 0~1 之间。
    + y = (x - MinValue) / (MaxValue - MinValue).

​

2. 宏观一览

  1. PAI 平台分成三层：
    1. 顶层：Web UI 界面；
    2. 中层：算法层；
    3. 底层：MAXCOMPUTE 平台层。
  2. 阿里云的算法库：

​

  1. PAI 的目的：一站式开发环境，避免工具间的频繁切换。
    1. 以往，一个数据智能应用的链路很长，从数据的 ETL、到预处理、特征工程、模型训练、评估和服务。
  2. PAI 的机器学习框架有：Tensorflow、Caffe、MXNet，底层提供 M40 型号的 GPU卡进行训练
  3. 业务架构：

​ 

 6. 协同过滤算法，collaborative filtering ，即 CF，基于类别的推荐算法。
       1. 挑选出爱好/属性相似的人或物，他们通常有相似的购物癖好。
       2. 啤酒和尿布的故事。
  7. 逻辑回归算法，Logistic regression,LR，广义的现行回归分析模型，属于监督学习算法。最常用的二分类。
        1. Sigmoid 函数，目的是将值域控制在 0~1 之间。
        2.  梯度下降算法进行拟合 。
-------------The End-------------