04-spark、pyspark、hadoop、hive 版本选择 1、spark 安装环境去官网看 spark 需要的环境:http://spark.apache.org/documentation.html 2、spark 支持的 hadoop 版本和 hive 版本去 spark 官网看:http://spark.apache.org/docs/3.0.0/building-spark.html#specifying-the-hadoop-ver 2021-03-30 Hadoop #Hadoop
Linux 之 ssh 免密登陆 背景为了让两个linux机器之间使用ssh不需要用户名和密码。所以采用了数字签名RSA或者DSA来完成这个操作。 场景分析假设 A (192.168.20.59)为客户机器,B(192.168.20.60)为目标机。 要达到的目的: A机器ssh登录B机器无需输入密码; 加密方式选 rsa|dsa均可以,默认dsa ssh-keygen -t rsa #使用rsa加密 具体操作流程 2021-03-30 Linux #Linux
客户端上传失败问题File ~ could only be written to 0 of the 1 minReplication nodes. 报错详细1234567891011121314151617181920212223242526272829303132333435363738org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /test01.txt could only be written to 0 of the 1 minReplication n 2021-03-30 Hadoop #Hadoop
EasyCode 自动生成代码 EasyCode 的官方文档:https://gitee.com/makejava/EasyCode/wikis/pages 1、EasyCode 插件安装在 IDEA 的插件中查找 EasyCode,点击安装。 注意:如果使用默认配置和默认模板,请跳过第2、3步。 EasyCode 主要的配置: Type Mapper 类型映射:java 类和数据库类的映射 Template 模板: 2021-03-17 Java #Java
idea 单步断点调试Step Into、Step Out、Step Over、Run to Cursor Step Over:(快捷键 F8)。 作用:程序向下执行一行(如果当前行有方法调用,这个方法将被执行完毕返回,然后到下一行) Step Over与Step Into最大不同是,如果当前代码是一个子函数,Step Inot则跳转进入子函数,而Step Over则不进入子函数,相当于把跳转子函数的那段代码当做普通代码单步执行。 Step Into:(快捷键 F7)。 作用:一步步按照代码的执行顺 2021-03-17 Java #Java
idea 快捷键及后缀语法 快捷键123456ctrl + alt + v 将光标放在 new Helloworld(); 上,按左边的快捷键自动生成左边代码, 或者在 new Helloworld().var 也可以自动生成左边的代码。ctrl + alt + l 自动格式化代码alt + insert 生成构造函数和get、set 函数,tostring,overridealt + enter 2021-03-17 Java #Java
idea 查看接口的实现类、父类继承关系、方法调用 接口下右键Diagrams->Show Diagram,选中接口右键Show Implementations 接口下按Ctrl+H: 按下接口类名左边按钮: 使用Hierarchy 窗口查看。打开方式:navigate–>type hierarchy。打开后如下: 比通过小箭头的方式查看功能更丰富,圈出来的几个按钮: 左边那个是将当前类作为子类,显示它的父类; 中间这 2021-03-17 Java #Java
idea 设置 Python 环境 在 IDEA 中安装支持 python 的插件:File->Settings->Plugins 在 marketplace 中搜索“python”,找到”Python Community Edition”插件并点击安装。 添加 Python 的 module:File->Project Structure->Module->New Module: 配置 Pyt 2021-03-17 Java #Java
idea 设置项目文件夹类型 idea 设置项目文件夹类型有两种方式: 第一种方法:在你要更改的文件夹上右键单击 --> 选择make directory as --> 选择你要更改的文件夹类型 第二种方法:单击 File --> Project structure --> Modules 然后即可把文件修改为对应的类型。 不同类型文件夹区别1. Source roots (or sourc 2021-03-17 Java #Java
00-ffmpeg 简介 简介FFmpeg 的主要组成部分: libavcodec:一个包含了所有FFmpeg音视频编解码器的库。 libavformat:一个包含了所有的普通音视格式的解析器和产生器的库。 三个实例程序(这三个实例基本可以作为API使用手册): ffmpeg:命令行的视频格式转换程序。 ffplay:视频播放程序。(需要SDL支持) ffserver:多媒体服务器 了解了它的大体组织结构,就明确了 2021-03-12 ffmpeg #ffmpeg
01-YAML 简介和语法 0、一些网站 YAML 官方的一些资料。 The Official YAML Web Site 学习 - yaml.info YAML在线编辑及校验工具 YAML、YML在线编辑器(格式化校验)-BeJSON.com YAML parser for JavaScript - JS-YAML (nodeca.github.io) 1、YAML 简介YAML(YAML Ain' 2021-03-12
01-ffmpeg 安装 安装官网下载地址:https://ffmpeg.org/download.html#build-windows windows 安装windows 安装包下载地址 https://www.gyan.dev/ffmpeg/builds/ https://github.com/BtbN/FFmpeg-Builds/releases 例如:https://objects.githubuserconte 2021-03-12 ffmpeg #ffmpeg
01-fiddler 问题处理 The system proxy was changeed.Click to reenable capturing 详情fiddler 一直显示黄色的: 1The system proxy was changeed.Click to reenable capturing 原因一定是有其他的服务一直在修改了代理,导致的fiddler频繁中断提示。 首先要找到对应的服务,可以通过(ProcessMointor)定位发现,很有可能是银行的控件和VPN相关的服务(SangforSP,SanforVPN Securi 2021-03-12 fiddler #fiddler
01-农家小炒肉 原料123456789101112五花肉 250克鸡蛋 2个螺丝椒(不能吃辣可少放) 4个红椒(不能吃辣可少放) 4个蒜瓣 2-3瓣姜片(不吃姜可以不放) 2-3片生抽(推荐味极鲜) 1勺老抽 0.5勺豆瓣酱 2021-03-12 美食 #美食
01-图片相关脚本 批量设置 Word 的图片属性打开你的文档(用word打开),点击第一个图片右击设置图片大小和格式: 设置好后 按 【Alt+F11】 进入 word 的 VBA 编程窗口 代码: 123456789Sub setpic()w = ActiveDocument.InlineShapes(1).Widthh = ActiveDocument.InlineShapes(1).HeightFor i 2021-03-12
01-空气炸锅可以做的菜 小酥肉 空气炸锅不用预热 先180度8分钟 然后翻面200度4分钟 鸡米花 空气炸锅不用预热 先180度10分钟 然后翻面190度10分钟 纯肉香肠 空气炸锅不用预热 先200度8分钟 然后翻面200度8分钟 炸花生豆 空气炸锅不用预热 先180度4分钟 然后翻面180度4分钟 2021-03-12 美食 #美食
01-醋 四大名醋 山西老陈醋 GB/T19777 水塔(价格较低) 紫林 宁化府 镇江香醋GB/T18623-2011《地理标志产品 镇江香醋》 恒顺 福建永春老醋 GB/T26531 桃溪 阆中保宁醋用的是市面上通用的醋执行标准 GB18187 醋的分类 米醋。在所有醋中,米醋对新手最友好。不仅酸度适中,风味也很不错,带有一丝米香,凉拌、热炒都可以。如果你刚开始下厨,还不想囤太多调 2021-03-12 美食 #美食
02-韭菜鸡蛋水饺 原料12345678910韭菜 1千克五花肉 1千克鸡蛋 2个生抽 适量老抽 适量蚝油 适量盐 少许胡椒粉 适量葱姜 适量花生油 适量 步骤 第一步把葱姜花椒放入水中,泡出一个葱姜花椒水。 第二步五花肉中放入适量 生抽老抽蚝油五香粉盐鸡蛋,再少量多次加入葱姜花椒水 2021-03-12 美食 #美食
04-ffmpeg 命令 命令格式基本使用方式: 1ffmpeg [[options]['-i' input_file]] {[options] output_file} 通用选项 123456789101112131415161718192021-L license-h 帮助-fromats 显示可用的格式,编解码的,协议的。。。-f 设定输出格式: -f fmt 强迫采用格式fmt-i 2021-03-12 ffmpeg #ffmpeg
Centos7下Wireguard的安装和配置 wireguard 简介安装wg之前,一定要理解wg的原理,wg是通过UDP协议在各个主机之间建立对等连接,所以理论上其实是没有服务器和客户端之说的,有时候我们很容易把中续器理解为服务器,把其中一个主机理解为客户端,这为给我们的配置带来误解。这也是为什么在wg的配置文件里面没有client而只有peer的原因。 在 WireGuard 里,客户端和服务端基本是平等的,差别只是谁主动连接谁而已。双方 2021-03-12 CentOS > Wireguard #CentOS #Wireguard