Kafka 安装 安装 Java 环境在安装 Kafka 之前,先确保Linux 环境上是否有 Java 环境,使用 java -version 命令查看 Java 版本,推荐使用Jdk 1.8 ,如果没有安装 Java 环境的话,可以按照这篇文章进行安装(https://www.jb51.net/article/169437.htm) 安装 Zookeeper 环境Kafka 的底层使用 Zookeeper 储存 2021-03-08 Kafka #Kafka
Kafka 日志管理 日志目录 ${kafka.logs.dir}/server.log :服务器日志 ${kafka.logs.dir}/state-change.log:状态变化日志 ${kafka.logs.dir}/kafka-request.log:请求处理日志 ${kafka.logs.dir}/log-cleaner.log:日志清理 ${kafka.logs.di 2021-03-08 Kafka #Kafka
Kafka 最多一次、至少一次、精确传递一次 首先了解一下消息传递语义(message delivery semantic)。这是一个通用的概念,也就是消息传递过程中消息传递的保证性。分为三种: 最多一次(at most once):消息生产者发送消息,但不确保消息是否成功到达,消息可能丢失,也可能被处理,但最多只会被处理一次,不会重复。 特点:可能丢失、不会重复 Kafka 中,生产者在无 ACK 的机制下保证消息最多发送一次。 2021-03-08 Kafka #Kafka
Kafka 水位和 leader epoch Kafka复制机制Kafka 的主题被分为多个分区,分区是基本的数据块。分区存储在单个磁盘上,Kafka 可以保证分区里的事件是有序的,分区可以在线(可用),也可以离线(不可用)。每个分区可以有多个副本,其中一个副本是 leader 副本。所有的生产者请求和消费者请求都经过 leader 副本,leader 副本以外的副本都是 follower 副本,follower 副本不处理来自客户端的请求, 2021-03-08 Kafka #Kafka
Kafka 消息位移 __consumer_offsets 历史__consumer_offsets 在 Kafka 源码中有个更为正式的名字,叫位移主题,即 Offsets Topic。 老版本 Consumer 的位移管理是依托于 Apache ZooKeeper 的,它会自动或手动地将位移数据提交到 ZooKeeper 中保存。当 Consumer 重启后,它能自动从 ZooKeeper 中读取位移数据,从而在上次消费截止的地方继续消费。这种设计使得 2021-03-08 Kafka #Kafka
Kafka 配置文件 kafka/config/ 目录下面有 3 个配置文件 producer.properties:生产端的配置文件 consumer.properties:消费端的配置文件 server.properties:服务端的配置文件 server.properties:服务端的配置文件12345678910111213141516171819202122232425262728293 2021-03-08 Kafka #Kafka
OWASP Top10 2021 官网地址:https://owasp.org/Top10/zh_CN/ 2021 年 OWASP 发布了全新的 OWASP Top 10。2021 年的 OWASP Top 10 发生了很多变化,新增三个类别,四个类别的命名和范围也发生了变化,同时对 Top 10 进行了一些合并。 值得一提的是,“失效的访问控制”这一漏洞从 2017 年的第五名,取代“注入”跃居榜首,成为最大的应用软件安全 2021-03-08 security #security
Python 兼职 1、CODING 码市 官方网站:https://mart.coding.net 著名的Coding旗下的互联网软件外包服务平台,平台以外包为主。 需要实名认证,暂时还没认证,需要1000保证金,吃相难看 2、 开源众包 官方网站:https://zb.oschina.net/projects/list.html 开源中国的众包平台,主要是以众包为主。 3、猪八戒 官方网站:https://z 2021-03-08
UniCast,MultiCast,BroadCast 一 常见通信方式1.1 UniCastUniCast,即单播,指网络中一个节点与另一个节点之间需要建立一个单独的数据通道,从一个节点发出的信息只被一个节点收到,这种传送方式称为单播。 即网络中从源向目的地转发单播流量的过程,IP地址与节点(主机)一一对应,单播流量地址唯一。每个节点必须分别对需要访问的节点发送单独的查询,而被访问节点必须向每个访问节点发送所申请的数据包拷贝。 1.2 MultiC 2021-03-08 network #network
Zookeeper 安装 安装 Java 环境在安装 Zookeeper 之前,先确保 Linux 环境上是否有 Java 环境,使用 java -version 命令查看 Java 版本,推荐使用 Jdk 1.8。 安装 Zookeeper 环境Zookeeper 有两种部署方式 单机部署 集群部署 Zookeeper 单机搭建Zookeeper 单机搭建比较简单,从 https://www.apache.org/d 2021-03-08 Zookeeper #Zookeeper
cve-2021-44228 Apache Log4j2 远程代码执行漏洞 cve 地址:https://www.cve.org/CVERecord?id=CVE-2021-44228 cnvd 地址:https://www.cnvd.org.cn/flaw/show/CNVD-2021-100238 https://nvd.nist.gov/vuln/detail/CVE-2021-44228 1、基础log4j2 简介 Log4j2 是一个用于 Java 应用 2021-03-08 security #security
gitignore 规则匹配规则和 linux文件匹配一样 以斜杠“/”开头表示当前文件所在的目录; 以星号“*”通配多个字符; 以问号“?”通配单个字符 以方括号“[]”包含单个字符的匹配列表; 以叹号“!”表示不忽略(跟踪)匹配到的文件或目录; / 结束的模式代表的是匹配目录,只匹配文件夹以及在该文件夹路径下的内容,但是不匹配该文件。 如果一个模式不包含斜杠,则它匹配相对于当前 .gitig 2021-03-08 Git #Git
masscan 简介Masscan,是 robertdavidgraham 在 Github 上开源的端口扫描工具,项目代码位于 https://github.com/robertdavidgraham/masscan。 Masscan 性能优越,极限速度可以从单机每秒发送1000万个数据包。Masscan号称是最快的互联网端口扫描器,最快可以在六分钟内扫遍互联网。 Masscan 针对 TCP 端口进行扫描,使 2021-03-08 security #security
nmap 官网:https://nmap.org/ 中文:http://www.nmap.com.cn/ 简介Nmap,也就是 Network Mapper,最早是 Linux 下的网络扫描和嗅探工具包。 nmap 是一个网络连接端扫描软件,用来扫描网上电脑开放的网络连接端。确定哪些服务运行在哪些连接端,并且推断计算机运行哪个操作系统(这是亦称 fingerprinting)。它是网络管理员必用的软 2021-03-08 security #security
raw.githubusercontent.com与github.com raw.githubusercontent.com 是 github 用来存储用户上传文件(不是项目仓库的文件,而是issue里的图片之类的)的服务地址。放在亚马逊s3上。是github 的素材服务器 (assets server), 避免跟主服务抢占负载 常规 github.com 界面 点击 raw,跳转到 raw.githubusercontent.com 界面 两者除了最开始的位置 2021-03-08 Git #Git
unicode 各种宽度空格字符 Unicode中的空格字符一览(翻译)-腾讯云开发者社区-腾讯云Unicode中的空格字符本文列出了 Unicode 中的各种空格字符。有关说明, 还请参阅 Unicode 标准中的 第6章 书写系统和标点符号 还有Unicode标准中的 一般标点符号的区段描述。本文还列出了3个宽度为0的字符, 故可称其为零宽度空格。 下表第三列中, 每一行展示一个不同空格字符的显示效果, 以“foo”和“bar 2021-03-08 unicode #unicode
unicode 控制字符 unicode 官网:https://home.unicode.org/unicode 各种类型详细介绍:https://www.compart.com/en/unicode/category/Cf对零宽度字符完全没有头绪的可以先玩下这个Demo在綫解密:https://330k.github.io/misc_tools/unicode_steganography.html 1 前言在所有主要 2021-03-08 unicode #unicode
unicode 零宽字符 unicode 官网:https://home.unicode.org/unicode 各种类型详细介绍:https://www.compart.com/en/unicode/category/Cf对零宽度字符完全没有头绪的可以先玩下这个Demo在綫解密:https://330k.github.io/misc_tools/unicode_steganography.html 什么是零宽度字符? 2021-03-08 unicode #unicode
windows Git Bash 无法运行python解决方法 windows Git Bash 无法运行python解决方法在git bash 中运行下python – -version 或 pip list 命令,都是可以正常使用。 但是输入python 确没有任何响应,会卡主。 这是什么原因呢,经过谷歌,原来安装Git Bash 的时候有提示,MinTTY不支持交互操作,如Python和Node, 用winpty + program就可以运行了。 2021-03-08 Git #Git
【DAST、SAST、IAST】 什么是 Web 应用安全测试技术AST(Application Security Test,应用安全测试)工具是应用程序软件安全实践的支柱之一。随着近年来安全越来越得到重视,AST 们也发生着快速的迭代和变化,成为信息安全领域的当红炸子鸡。我们认为所有的软件技术和项目管理相关人员都应该对AST工具有基本的认知,并在一定程度上应用它们。但实际上,我们经常发现 SAST,DAST,IAST 等十分近似 2021-03-08 security #security