Flink 入门笔记(1)

好友投稿，整理自慕课网及同事分享

• 初识Flink

  • 什么是Flink：基于有界和无界数据流的有状态的计算，分布式计算引擎
    • 无界数据流：有开始没有结尾，流处理实时处理
    • 有界数据流：有开始有结尾，用批处理处理有界数据流
  • Flink提供的三个层级的API：
    • SQL/Table API(使用sql语句)
    • DataStream API
    • ProcessFunction

深度学习名词辨析

本文参考自：《Python 深度学习》2018 版

本文也会进行系列更新

注：以下名词并不权威，多是以直白的语言阐述的个人理解，仅供参考。

1. 经典的程序设计：input：规则和数据，output：答案。但机器学习是一种新的编程范式：input：数据和答案，output：规则。
2. 表示：input 数据的有用表示(即某种表现方式，通过变换数据做到，目的是使 input 更适合当前的任务)。机器学习模型就是为了能够为 input 的数据自动寻找到合适的表示。例：坐标变换，见下图：

ARTS 第九周

每周完成一个ARTS（也就是 Algorithm、Review、Tip、Share 简称ARTS）：

1. 每周至少做一个 leetcode 的算法题
2. 阅读并点评至少一篇英文技术文章
3. 学习至少一个技术技巧
4. 分享一篇有观点和思考的技术文章。

ARTS 第八周

每周完成一个ARTS（也就是 Algorithm、Review、Tip、Share 简称ARTS）：

1. 每周至少做一个 leetcode 的算法题
2. 阅读并点评至少一篇英文技术文章
3. 学习至少一个技术技巧
4. 分享一篇有观点和思考的技术文章。

初识机器学习平台 PAI

参考网站：阿里云 机器学习 PAI

1. 抽象概念

1. 机器学习（笼统说法）：机器通过统计学算法，对大量的历史数据进行学习从而生成经验模型，利用经验模型指导业务。
   1. 常见营销类业务举例：商品推荐、用户群体画像、广告精准投放等。
   2. 其他业务：文本类、非结构化类(如图片等)，金融预测、比赛预测……
2. PAI 平台，具有数据处理、建模、离线预测、在线预测等功能。
3. 有监督学习（含目标列）、无监督学习（无目标列，只有特征列）、半监督学习（仅有部分目标数据）。

ARTS 第七周

每周完成一个ARTS（也就是 Algorithm、Review、Tip、Share 简称ARTS）：

1. 每周至少做一个 leetcode 的算法题
2. 阅读并点评至少一篇英文技术文章
3. 学习至少一个技术技巧
4. 分享一篇有观点和思考的技术文章。

BitMap 特性解读

主要参考：极客时间专栏：数据结构与算法之美 45 | 位图：如何实现网页爬虫中的URL去重功能？

1. 应用场景：爬虫爬网页时，要避免重复爬取，对网页去重。

2. 需要暴露的api：add()和isExisted()，即插入跟查询操作。

3. 要求：① 查询、插入效率高；② 省内存。

4. 使用位图的思路：

   1. 若有 1千万个数据，这些数字落在范围在 1 到 1 亿之间，不使用位图时，使用 hashMap 时，需要使用 Integer 来存储每个数据，需要 40MB 空间。
   2. 当使用位图时，需要 1 亿个二进制bit 来表示 boolean，即需要 12MB 空间即可。

ARTS 第六周

每周完成一个ARTS（也就是 Algorithm、Review、Tip、Share 简称ARTS）：

1. 每周至少做一个 leetcode 的算法题
2. 阅读并点评至少一篇英文技术文章
3. 学习至少一个技术技巧
4. 分享一篇有观点和思考的技术文章。

ARTS 第五周

每周完成一个ARTS（也就是 Algorithm、Review、Tip、Share 简称ARTS）：

1. 每周至少做一个 leetcode 的算法题
2. 阅读并点评至少一篇英文技术文章
3. 学习至少一个技术技巧
4. 分享一篇有观点和思考的技术文章。

ZGC 特性解读

英文原文地址：A FIRST LOOK INTO ZGC

网友译文：ZGC窥探

ZGC好文推荐: Oracle 发布全新的 Java 垃圾收集器 ZGC

一语道破Java 11的ZGC为何如此高效

The Z Garbage Collector (ZGC) 【2】

Per 大大写的官方 PPT：The Z Garbage Collector An Introduction