06-Flink 物理分区和 keyby 分区的区别 Flink 官网主页地址:https://flink.apache.org Flink 官方中文地址:https://nightlies.apache.org/flink/flink-docs-stable/zh/ 分区是大数据处理中一个非常重要的一环。分区是将数据进行重新分布,传输到不同的通道进行下一步数据处理。 keyby 是按照键的哈希值进行的重分区操作。这种分区只能把数据按 ke 2021-03-08 Flink #Flink
07-Flink 中的时间和窗口 Flink 官网主页地址:https://flink.apache.org Flink 官方中文地址:https://nightlies.apache.org/flink/flink-docs-stable/zh/ 在批处理统计中,我们可以等待一批数据都到齐后,统一处理。但是在实时处理统计中,我们是来一条就得处理一条,那么我们怎么统计最近一段时间内的数据呢?引入“窗口”。 所谓的“ 2021-03-08 Flink #Flink
07-Flink 规约函数和 aggreagte 的区别 Flink 官网主页地址:https://flink.apache.org Flink 官方中文地址:https://nightlies.apache.org/flink/flink-docs-stable/zh/ 键控流(Keyed Streams)reduce 和 aggregate 的区别。 操作定义与功能: reduce:reduce 操作是将两个输入元素合并为一个元素的操作 2021-03-08 Flink #Flink
08-Flink 时间语义和水位线 Flink 官网主页地址:https://flink.apache.org Flink 官方中文地址:https://nightlies.apache.org/flink/flink-docs-stable/zh/ 1、时间语义1.1、Flink 中的时间语义 1.2、哪种时间语义更重要为了更加清晰地说明两种语义的区别,我们来举一个非常经典的例子:电影《星球大战》。 如上图所示,我 2021-03-08 Flink #Flink
09-Flink 处理函数 Flink 官网主页地址:https://flink.apache.org Flink 官方中文地址:https://nightlies.apache.org/flink/flink-docs-stable/zh/ 1、处理函数之前所介绍的流处理 API,无论是基本的转换、聚合,还是更为复杂的窗口操作,其实都是基于 DataStream 进行转换的,所以可以统称为 DataStream 2021-03-08 Flink #Flink
09-Flink 处理函数之广播流 Flink 官网主页地址:https://flink.apache.org Flink 官方中文地址:https://nightlies.apache.org/flink/flink-docs-stable/zh/ Broadcast State 是 Flink 1.5 引入的功能。Flink 中的广播流(Broadcast Stream)是一种特殊的数据流,它允许将一个流的数据广播到其 2021-03-08 Flink #Flink
09-Flink 处理函数之广播流-动态更新阈值 Flink 官网主页地址:https://flink.apache.org Flink 官方中文地址:https://nightlies.apache.org/flink/flink-docs-stable/zh/ 背景在实际生产环境中,对报警的阈值需要根据经验不断的来修改,但是如果每次修改了之后,都通过重启 Flink 程序来实现,这个成本就有点高了,所以我们这次主要是讲解一下,如何使 2021-03-08 Flink #Flink
10-Flink 状态管理 Flink 官网主页地址:https://flink.apache.org Flink 官方中文地址:https://nightlies.apache.org/flink/flink-docs-stable/zh/ 1、状态管理1.1、Flink 中的状态1.1.1、概述 1.1.2、状态的分类1、托管状态(Managed State)和原始状态(Raw State) Flink 的 2021-03-08 Flink #Flink
10-Flink 状态管理-状态后端 Flink 官网主页地址:https://flink.apache.org Flink 官方中文地址:https://nightlies.apache.org/flink/flink-docs-stable/zh/ 1、状态后端(State Backends)在 Flink 中,状态的存储、访问以及维护,都是由一个可插拔的组件决定的,这个组件就叫状态后端(state backend)。状 2021-03-08 Flink #Flink
10-GitHub 搜索 官方地址:https://docs.github.com/zh/search-github/searching-on-github 本文总结了目前GitHub搜索最常用的技巧,根据我们平时搜索的内容分为了搜索存储库、搜索主题、搜索代码和搜索用户四个小点,你可以根据自己想要的搜索内容定位到每个小点, 3.1、搜索存储库 官方地址:https://docs.github.com/zh/search 2021-03-08 Git #Git
11-Flink 容错机制 Flink 官网主页地址:https://flink.apache.org Flink 官方中文地址:https://nightlies.apache.org/flink/flink-docs-stable/zh/ 1、容错机制在 Flink 中,有一套完整的容错机制来保证故障后的恢复,其中最重要的就是检查点。 1.1、检查点(CheckPoint)在流处理中,我们可以用存档读档的思路, 2021-03-08 Flink #Flink
11-git config 配置 官网地址:https://git-scm.com/docs git congif 官网地址:https://git-scm.com/docs/git-config 知识前提:git 重要的三个工作区域: 工作区(Working Directory):写代码的目录。就是项目代码存放的目录。 暂存区(index/stage):工作区与版本库之间的缓冲地带。用 git add 把文件添 2021-03-08 Git #Git
12-Flink 流控和反压 Flink 官网主页地址:https://flink.apache.org Flink 官方中文地址:https://nightlies.apache.org/flink/flink-docs-stable/zh/ Flink 反压:https://nightlies.apache.org/flink/flink-docs-release-1.19/zh/docs/ops/monitor 2021-03-08 Flink #Flink
12-Flink 流控和反压之反压解决思路 Flink 官网主页地址:https://flink.apache.org Flink 官方中文地址:https://nightlies.apache.org/flink/flink-docs-stable/zh/ Flink 反压:https://nightlies.apache.org/flink/flink-docs-release-1.19/zh/docs/ops/monitor 2021-03-08 Flink #Flink
12-git diff 比较两个版本之前的区别 官网地址:https://git-scm.com/docs git diff 官网地址:https://git-scm.com/docs/git-diff 知识前提:git 重要的三个工作区域: 工作区(Working Directory):写代码的目录。就是项目代码存放的目录。 暂存区(index/stage):工作区与版本库之间的缓冲地带。用 git add 把文件添加进去, 2021-03-08 Git #Git
12-git reset 版本回退 官网地址:https://git-scm.com/docs git reset 官网地址:https://git-scm.com/docs/git-reset 1、知识前提:git 重要的三个工作区域 工作区(Working Directory):写代码的目录。就是项目代码存放的目录。 暂存区(index/stage):工作区与版本库之间的缓冲地带。用 git add 添加文件, 2021-03-08 Git #Git
13-Flink CDC Flink 官网主页地址:https://flink.apache.org Flink 官方中文地址:https://nightlies.apache.org/flink/flink-docs-stable/zh/ flink-cdc GitHub: https://github.com/ververica/flink-cdc-connectors 1、什么是 CDCCDC 是 C 2021-03-08 Flink #Flink
13-git ls-remote 显示远程存储库中可用的引用以及关联的提交 ID 官网地址:https://git-scm.com/docs git ls-remote 官网地址:https://git-scm.com/docs/git-ls-remote 知识前提:git 重要的三个工作区域: 工作区(Working Directory):写代码的目录。就是项目代码存放的目录。 暂存区(index/stage):工作区与版本库之间的缓冲地带。用 git ad 2021-03-08 Git #Git
14-Flink 重启策略 Flink 官网主页地址:https://flink.apache.org Flink 官方中文地址:https://nightlies.apache.org/flink/flink-docs-stable/zh/ 介绍当 Task 发生故障时,Flink 需要重启出错的 Task 以及其他受到影响的 Task ,以使得作业恢复到正常执行状态。重启的策略有 2 种方式配置。 基于配置文 2021-03-08 Flink #Flink
14-git branch 分支 官网地址:https://git-scm.com/docs git branch 官网地址:https://git-scm.com/docs/git-branch 知识前提:git 重要的三个工作区域: 工作区(Working Directory):写代码的目录。就是项目代码存放的目录。 暂存区(index/stage):工作区与版本库之间的缓冲地带。用 git add 把文件添 2021-03-08 Git #Git