1、下载 Flink 压缩包下载地址：http://flink.apache.org/downloads.html。 CDH 集群环境 hadoop2.6，Scala2.11，所以下载：flink-1.5.0-bin-hadoop26-scala_2.11.tgz 2、解压12[root@hadoop2 opt]# tar -zxf flink-1.5.0-bin-hadoop26-scala

Flink 官网主页地址：https://flink.apache.org Flink 官方中文地址：https://nightlies.apache.org/flink/flink-docs-stable/zh/ 1、部署模式在一些应用场景中，对于集群资源分配和占用的方式，可能会有特定的需求。Flink 为各种场景提供了不同的部署模式，主要有以下三种：会话模式（Session Mode

虽然使用 Git 很多年，但是仍然对 HEAD 没有清晰的认识。HEAD 属于隐藏于 Git 内部的东西，网上很多介绍 HEAD 的文章也总是说不清道不明，所以记录一下。 1、Git HEAD 存放位置HEAD 其实是一个指针，内容是 .git/HEAD 文件里面的内容，它存储着当前分支的名字，我们可以打这个文件看一看： 1ref: refs/heads/master 我们可以得知当前处于 ma

Git 是一个开源的分布式版本控制系统，可以有效、高速的处理从很小到非常大的项目版本管理，是目前使用范围最广的版本管理工具。 Git 官方文档：Git-Book Git 工作流：深入理解学习Git工作流 yum 安装1、执行安装 1yum install git -y 2、验证安装结果，查看安装的Git版本，验证是否安装成功； 1git --version 3、存在的问题 使用yum安装确

kafka 脚本123456789101112131415161718192021222324252627282930313233connect-distributed.shconnect-mirror-maker.shconnect-standalone.shkafka-acls.shkafka-broker-api-versions.shkafka-configs.shkafka-consol

安装 Java 环境在安装 Kafka 之前，先确保Linux 环境上是否有 Java 环境，使用 java -version 命令查看 Java 版本，推荐使用Jdk 1.8 ，如果没有安装 Java 环境的话，可以按照这篇文章进行安装（https://www.jb51.net/article/169437.htm） 安装 Zookeeper 环境Kafka 的底层使用 Zookeeper 储存

日志目录 ${kafka.logs.dir}/server.log ：服务器日志 ${kafka.logs.dir}/state-change.log：状态变化日志 ${kafka.logs.dir}/kafka-request.log：请求处理日志 ${kafka.logs.dir}/log-cleaner.log：日志清理 ${kafka.logs.di

首先了解一下消息传递语义（message delivery semantic）。这是一个通用的概念，也就是消息传递过程中消息传递的保证性。分为三种： 最多一次（at most once）：消息生产者发送消息，但不确保消息是否成功到达，消息可能丢失，也可能被处理，但最多只会被处理一次，不会重复。 特点：可能丢失、不会重复 Kafka 中，生产者在无 ACK 的机制下保证消息最多发送一次。

Kafka复制机制Kafka 的主题被分为多个分区，分区是基本的数据块。分区存储在单个磁盘上，Kafka 可以保证分区里的事件是有序的，分区可以在线（可用），也可以离线（不可用）。每个分区可以有多个副本，其中一个副本是 leader 副本。所有的生产者请求和消费者请求都经过 leader 副本，leader 副本以外的副本都是 follower 副本，follower 副本不处理来自客户端的请求，

历史__consumer_offsets 在 Kafka 源码中有个更为正式的名字，叫位移主题，即 Offsets Topic。 老版本 Consumer 的位移管理是依托于 Apache ZooKeeper 的，它会自动或手动地将位移数据提交到 ZooKeeper 中保存。当 Consumer 重启后，它能自动从 ZooKeeper 中读取位移数据，从而在上次消费截止的地方继续消费。这种设计使得

kafka/config/ 目录下面有 3 个配置文件 producer.properties:生产端的配置文件 consumer.properties:消费端的配置文件 server.properties:服务端的配置文件 server.properties:服务端的配置文件12345678910111213141516171819202122232425262728293

官网地址：https://owasp.org/Top10/zh_CN/ 2021 年 OWASP 发布了全新的 OWASP Top 10。2021 年的 OWASP Top 10 发生了很多变化，新增三个类别，四个类别的命名和范围也发生了变化，同时对 Top 10 进行了一些合并。 值得一提的是，“失效的访问控制”这一漏洞从 2017 年的第五名，取代“注入”跃居榜首，成为最大的应用软件安全

1、CODING 码市 官方网站：https://mart.coding.net 著名的Coding旗下的互联网软件外包服务平台，平台以外包为主。 需要实名认证，暂时还没认证，需要1000保证金，吃相难看 2、 开源众包 官方网站：https://zb.oschina.net/projects/list.html 开源中国的众包平台，主要是以众包为主。 3、猪八戒 官方网站：https://z

一 常见通信方式1.1 UniCastUniCast，即单播，指网络中一个节点与另一个节点之间需要建立一个单独的数据通道，从一个节点发出的信息只被一个节点收到，这种传送方式称为单播。 即网络中从源向目的地转发单播流量的过程，IP地址与节点（主机）一一对应，单播流量地址唯一。每个节点必须分别对需要访问的节点发送单独的查询，而被访问节点必须向每个访问节点发送所申请的数据包拷贝。 1.2 MultiC

安装 Java 环境在安装 Zookeeper 之前，先确保 Linux 环境上是否有 Java 环境，使用 java -version 命令查看 Java 版本，推荐使用 Jdk 1.8。 安装 Zookeeper 环境Zookeeper 有两种部署方式 单机部署 集群部署 Zookeeper 单机搭建Zookeeper 单机搭建比较简单，从 https://www.apache.org/d

cve 地址：https://www.cve.org/CVERecord?id=CVE-2021-44228 cnvd 地址：https://www.cnvd.org.cn/flaw/show/CNVD-2021-100238 https://nvd.nist.gov/vuln/detail/CVE-2021-44228 1、基础log4j2 简介 Log4j2 是一个用于 Java 应用

规则匹配规则和 linux文件匹配一样 以斜杠“/”开头表示当前文件所在的目录； 以星号“*”通配多个字符； 以问号“?”通配单个字符 以方括号“[]”包含单个字符的匹配列表； 以叹号“!”表示不忽略(跟踪)匹配到的文件或目录； / 结束的模式代表的是匹配目录，只匹配文件夹以及在该文件夹路径下的内容，但是不匹配该文件。 如果一个模式不包含斜杠，则它匹配相对于当前 .gitig

简介Masscan，是 robertdavidgraham 在 Github 上开源的端口扫描工具，项目代码位于 https://github.com/robertdavidgraham/masscan。 Masscan 性能优越，极限速度可以从单机每秒发送1000万个数据包。Masscan号称是最快的互联网端口扫描器，最快可以在六分钟内扫遍互联网。 Masscan 针对 TCP 端口进行扫描，使

官网：https://nmap.org/ 中文：http://www.nmap.com.cn/ 简介Nmap，也就是 Network Mapper，最早是 Linux 下的网络扫描和嗅探工具包。 nmap 是一个网络连接端扫描软件，用来扫描网上电脑开放的网络连接端。确定哪些服务运行在哪些连接端，并且推断计算机运行哪个操作系统（这是亦称 fingerprinting）。它是网络管理员必用的软

raw.githubusercontent.com 是 github 用来存储用户上传文件（不是项目仓库的文件，而是issue里的图片之类的）的服务地址。放在亚马逊s3上。是github 的素材服务器 (assets server), 避免跟主服务抢占负载 常规 github.com 界面 点击 raw，跳转到 raw.githubusercontent.com 界面 两者除了最开始的位置