1、下载 Flink 压缩包下载地址：http://flink.apache.org/downloads.html。 CDH 集群环境 hadoop2.6，Scala2.11，所以下载：flink-1.5.0-bin-hadoop26-scala_2.11.tgz 2、解压12[root@hadoop2 opt]# tar -zxf flink-1.5.0-bin-hadoop26-scala

Flink 官网主页地址：https://flink.apache.org Flink 官方中文地址：https://nightlies.apache.org/flink/flink-docs-stable/zh/ 1、部署模式在一些应用场景中，对于集群资源分配和占用的方式，可能会有特定的需求。Flink 为各种场景提供了不同的部署模式，主要有以下三种：会话模式（Session Mode

虽然使用Git很多年，但是仍然对head没有清晰的认识。head属于隐藏于Git内部的东西，网上很多介绍head的文章也总是说不清道不明，所以记录一下。 1、Git HEAD 存放位置HEAD 其实是一个指针，内容是 .git/HEAD 文件里面的内容，它存储着当前分支的名字，我们可以打这个文件看一看： 1ref: refs/heads/master 由此，我们可以得知当前所处于 master

Git 是一个开源的分布式版本控制系统，可以有效、高速的处理从很小到非常大的项目版本管理，是目前使用范围最广的版本管理工具。 Git 官方文档：Git-Book Git 工作流：深入理解学习Git工作流 yum 安装1、执行安装 1yum install git -y 2、验证安装结果，查看安装的Git版本，验证是否安装成功； 1git --version 3、存在的问题 使用yum安装确

1 安装说明在安装 hive 之前，需要先安装 hadoop 集群环境，如果没有可以先安装。 在启动 hive 之前，需要先启动 hadoop 集群。 文章末尾有部分错误的解决办法。 1.1 用到的软件 软件 版本 下载地址 hadoop hadoop-2.7.1 http://archive.apache.org/dist/hadoop/common/hadoop-2.7.1/hado

kafka 脚本123456789101112131415161718192021222324252627282930313233connect-distributed.shconnect-mirror-maker.shconnect-standalone.shkafka-acls.shkafka-broker-api-versions.shkafka-configs.shkafka-consol

安装 Java 环境在安装 Kafka 之前，先确保Linux 环境上是否有 Java 环境，使用 java -version 命令查看 Java 版本，推荐使用Jdk 1.8 ，如果没有安装 Java 环境的话，可以按照这篇文章进行安装（https://www.jb51.net/article/169437.htm） 安装 Zookeeper 环境Kafka 的底层使用 Zookeeper 储存

日志目录 ${kafka.logs.dir}/server.log ：服务器日志 ${kafka.logs.dir}/state-change.log：状态变化日志 ${kafka.logs.dir}/kafka-request.log：请求处理日志 ${kafka.logs.dir}/log-cleaner.log：日志清理 ${kafka.logs.di

首先了解一下消息传递语义（message delivery semantic）。这是一个通用的概念，也就是消息传递过程中消息传递的保证性。分为三种： 最多一次（at most once）：消息生产者发送消息，但不确保消息是否成功到达，消息可能丢失，也可能被处理，但最多只会被处理一次，不会重复。 特点：可能丢失、不会重复 Kafka 中，生产者在无 ACK 的机制下保证消息最多发送一次。

Kafka复制机制Kafka 的主题被分为多个分区，分区是基本的数据块。分区存储在单个磁盘上，Kafka 可以保证分区里的事件是有序的，分区可以在线（可用），也可以离线（不可用）。每个分区可以有多个副本，其中一个副本是 leader 副本。所有的生产者请求和消费者请求都经过 leader 副本，leader 副本以外的副本都是 follower 副本，follower 副本不处理来自客户端的请求，

历史__consumer_offsets 在 Kafka 源码中有个更为正式的名字，叫位移主题，即 Offsets Topic。 老版本 Consumer 的位移管理是依托于 Apache ZooKeeper 的，它会自动或手动地将位移数据提交到 ZooKeeper 中保存。当 Consumer 重启后，它能自动从 ZooKeeper 中读取位移数据，从而在上次消费截止的地方继续消费。这种设计使得

在kafka/config/目录下面有3个配置文件 producer.properties:生产端的配置文件 consumer.properties:消费端的配置文件 server.properties:服务端的配置文件 server.properties:服务端的配置文件1234567891011121314151617181920212223242526272829303

官网地址：https://owasp.org/Top10/zh_CN/ 2021 年 OWASP 发布了全新的 OWASP Top 10。2021 年的 OWASP Top 10 发生了很多变化，新增三个类别，四个类别的命名和范围也发生了变化，同时对 Top 10 进行了一些合并。 值得一提的是，“失效的访问控制”这一漏洞从 2017 年的第五名，取代“注入”跃居榜首，成为最大的应用软件安全

一 常见通信方式1.1 UniCastUniCast，即单播，指网络中一个节点与另一个节点之间需要建立一个单独的数据通道，从一个节点发出的信息只被一个节点收到，这种传送方式称为单播。 即网络中从源向目的地转发单播流量的过程，IP地址与节点（主机）一一对应，单播流量地址唯一。每个节点必须分别对需要访问的节点发送单独的查询，而被访问节点必须向每个访问节点发送所申请的数据包拷贝。 1.2 MultiC

安装 Java 环境在安装 Zookeeper 之前，先确保 Linux 环境上是否有 Java 环境，使用 java -version 命令查看 Java 版本，推荐使用 Jdk 1.8。 安装 Zookeeper 环境Zookeeper 有两种部署方式 单机部署 集群部署 Zookeeper 单机搭建Zookeeper 单机搭建比较简单，从 https://www.apache.org/d

CNAME 即指别名记录，也被称为规范名字。这种记录允你将多个名字映射到同一台计算机。 当需要将域名指向另一个域名，再由另一个域名提供 IP 地址，就需要添加 CNAME 记录。 为什么使用 CDN 需要 CNAME 记录？ 在 CDN 平台创建加速域名后，会给域名分配一个 “CNAME域名”（例：example.qiniudns.com）。用户需要在域名服务商处，配置一条 CNAME 记录，

cve 地址：https://www.cve.org/CVERecord?id=CVE-2021-44228 cnvd 地址：https://www.cnvd.org.cn/flaw/show/CNVD-2021-100238 https://nvd.nist.gov/vuln/detail/CVE-2021-44228 1、基础log4j2 简介 Log4j2 是一个用于 Java 应用

最为原始的try/except办法，多次插入数据就要写多次，很麻烦，使用python原生的contextlib.contextmanager简化代码！ 123456789 try: user_db = User(email=self.email, nickname=self.nickname, password=self.password) db.session.add(us

规则匹配规则和 linux文件匹配一样 以斜杠“/”开头表示当前文件所在的目录； 以星号“*”通配多个字符； 以问号“?”通配单个字符 以方括号“[]”包含单个字符的匹配列表； 以叹号“!”表示不忽略(跟踪)匹配到的文件或目录； / 结束的模式代表的是匹配目录，只匹配文件夹以及在该文件夹路径下的内容，但是不匹配该文件。 如果一个模式不包含斜杠，则它匹配相对于当前 .gitig

简介Masscan，是 robertdavidgraham 在 Github 上开源的端口扫描工具，项目代码位于 https://github.com/robertdavidgraham/masscan。 Masscan 性能优越，极限速度可以从单机每秒发送1000万个数据包。Masscan号称是最快的互联网端口扫描器，最快可以在六分钟内扫遍互联网。 Masscan 针对 TCP 端口进行扫描，使