Flink 历史服务器
Flink 官网主页地址：https://flink.apache.org Flink 官方中文地址：https://nightlies.apache.org/flink/flink-docs-stable/zh/ 历史服务器运行 Flink job 的集群一旦停止，只能去 yarn 或本地磁盘上查看日志，不再可以查看作业挂掉之前的运行的 Web UI，很难清楚知道作业在挂的那一刻到底发
Flink 快速上手
Flink 官网主页地址：https://flink.apache.org Flink 官方中文地址：https://nightlies.apache.org/flink/flink-docs-stable/zh/ 1、创建项目在准备好所有的开发环境之后，我们就可以开始开发自己的第一个 Flink 程序了。首先我们要做的，就是在 IDEA 中搭建一个 Flink 项目的骨架。我们使用 J
Flink 报错之 Upload 一直停留在 saving
报错： flink new Job 时 一直在saving 如下图所示： 通常是由于 nginx 服务器造成的，查看 nginx 报错，我碰到过两种情况 报错 500：上传文件目录没有权限 解决方案：修改上传目录权限 报错 413（Request Entity Too Large）：上传文件太大，超出了 Nginx 的默认值 解决方案：修改 Nginx 设置 client_ma
Flink 程序开发步骤（Java语言）
开发流程Flink 的流处理 API（DataStream API）位于 org.apache.flink.streaming.api.scala 包（Scala语言）或 org.apache.flink.streaming.api 包（Java语言）中。本文以 java 为例。 我们如果要使用Flink进行计算开发，一个完整的开发步骤是怎样的呢？ 什么叫有界数据流，什么叫无界数据流（何为流处理，
Flink 简介
Flink 官网主页地址：https://flink.apache.org Flink 官方中文地址：https://nightlies.apache.org/flink/flink-docs-stable/zh/ 1、Flink是什么Flink 核心目标，是 “数据流上的有状态计算” (Stateful Computations over Data Streams)。 具体说明：Apa
Flink 配置之日志配置
前言本文介绍的内存配置方法基于 Flink 1.10 Flink 应用程序容器创建并写入三种类型的日志文件：.out 文件、.log 文件和 .err 文件。仅限将 .err 文件压缩并从文件系统中删除，而将 .log 和 .out 日志文件保留在文件系统中。 每个独立的JobManager，TaskManager，HistoryServer和zookeeper守护重定向stdout和stderr
Flink 集群搭建及作业提交初体验
Flink 官网主页地址：https://flink.apache.org Flink 官方中文地址：https://nightlies.apache.org/flink/flink-docs-stable/zh/ 1、集群角色 Flink 提供作业和执行任务，需要几个关键组件： Client（客户端）：代码由客户端获取并做转换，之后提交给JobManager JobManager：就
Flink 集群部署案例
1、下载 Flink 压缩包下载地址：http://flink.apache.org/downloads.html。 CDH 集群环境 hadoop2.6，Scala2.11，所以下载：flink-1.5.0-bin-hadoop26-scala_2.11.tgz 2、解压12[root@hadoop2 opt]# tar -zxf flink-1.5.0-bin-hadoop26-scala
Flink 集群部署模式
Flink 官网主页地址：https://flink.apache.org Flink 官方中文地址：https://nightlies.apache.org/flink/flink-docs-stable/zh/ 1、部署模式在一些应用场景中，对于集群资源分配和占用的方式，可能会有特定的需求。Flink 为各种场景提供了不同的部署模式，主要有以下三种：会话模式（Session Mode
Git HEAD
虽然使用Git很多年，但是仍然对head没有清晰的认识。head属于隐藏于Git内部的东西，网上很多介绍head的文章也总是说不清道不明，所以记录一下。 1、Git HEAD 存放位置HEAD 其实是一个指针，内容是 .git/HEAD 文件里面的内容，它存储着当前分支的名字，我们可以打这个文件看一看： 1ref: refs/heads/master 由此，我们可以得知当前所处于 master
Git 安装
Git 是一个开源的分布式版本控制系统，可以有效、高速的处理从很小到非常大的项目版本管理，是目前使用范围最广的版本管理工具。 Git 官方文档：Git-Book Git 工作流：深入理解学习Git工作流 yum 安装1、执行安装 1yum install git -y 2、验证安装结果，查看安装的Git版本，验证是否安装成功； 1git --version 3、存在的问题 使用yum安装确
Kafka 命令行命令大全
kafka 脚本123456789101112131415161718192021222324252627282930313233connect-distributed.shconnect-mirror-maker.shconnect-standalone.shkafka-acls.shkafka-broker-api-versions.shkafka-configs.shkafka-consol
Kafka 安装
安装 Java 环境在安装 Kafka 之前，先确保Linux 环境上是否有 Java 环境，使用 java -version 命令查看 Java 版本，推荐使用Jdk 1.8 ，如果没有安装 Java 环境的话，可以按照这篇文章进行安装（https://www.jb51.net/article/169437.htm） 安装 Zookeeper 环境Kafka 的底层使用 Zookeeper 储存
Kafka 日志管理
日志目录 ${kafka.logs.dir}/server.log ：服务器日志 ${kafka.logs.dir}/state-change.log：状态变化日志 ${kafka.logs.dir}/kafka-request.log：请求处理日志 ${kafka.logs.dir}/log-cleaner.log：日志清理 ${kafka.logs.di
Kafka 最多一次、至少一次、精确传递一次
首先了解一下消息传递语义（message delivery semantic）。这是一个通用的概念，也就是消息传递过程中消息传递的保证性。分为三种： 最多一次（at most once）：消息生产者发送消息，但不确保消息是否成功到达，消息可能丢失，也可能被处理，但最多只会被处理一次，不会重复。 特点：可能丢失、不会重复 Kafka 中，生产者在无 ACK 的机制下保证消息最多发送一次。
Kafka 水位和 leader epoch
Kafka复制机制Kafka 的主题被分为多个分区，分区是基本的数据块。分区存储在单个磁盘上，Kafka 可以保证分区里的事件是有序的，分区可以在线（可用），也可以离线（不可用）。每个分区可以有多个副本，其中一个副本是 leader 副本。所有的生产者请求和消费者请求都经过 leader 副本，leader 副本以外的副本都是 follower 副本，follower 副本不处理来自客户端的请求，
Kafka 消息位移 __consumer_offsets
历史__consumer_offsets 在 Kafka 源码中有个更为正式的名字，叫位移主题，即 Offsets Topic。 老版本 Consumer 的位移管理是依托于 Apache ZooKeeper 的，它会自动或手动地将位移数据提交到 ZooKeeper 中保存。当 Consumer 重启后，它能自动从 ZooKeeper 中读取位移数据，从而在上次消费截止的地方继续消费。这种设计使得
Kafka 配置文件
kafka/config/ 目录下面有 3 个配置文件 producer.properties:生产端的配置文件 consumer.properties:消费端的配置文件 server.properties:服务端的配置文件 server.properties:服务端的配置文件12345678910111213141516171819202122232425262728293