Hive 入门 1 Hive 简介1.1 Hive简介1.1.1 什么是 HiveHive是基于Hadoop的数据仓库解决方案。由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性,因此使用Hive构建的数据仓库也秉承了这些特性。 这是来自官方的解释。 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。可以将sql语句转换为MapRedu 2021-03-29 Hive #Hive
EasyCode 自动生成代码 EasyCode 的官方文档:https://gitee.com/makejava/EasyCode/wikis/pages 1、EasyCode 插件安装在 IDEA 的插件中查找 EasyCode,点击安装。 注意:如果使用默认配置和默认模板,请跳过第2、3步。 EasyCode 主要的配置: Type Mapper 类型映射:java 类和数据库类的映射 Template 模板: 2021-03-17 Java #Java
Python 内置函数之排序 sort list.sort() 函数描述sort() 函数用于对原列表进行排序,如果指定参数,则使用指定的比较函数。 语法12345list.sort(key=None, reverse=False)参数: key:主要是用来指定进行比较的元素,只有一个参数,具体的函数的参数就是取自于可迭代对象中,指定可迭代对象中的一个元素来进行排序。 reverse:排序规则,reverse = True 2021-03-17 Python #Python
Python 内置函数之文件操作 open https://docs.python.org/zh-cn/3.8/library/functions.html#open Python 的 open() 函数用于打开一个文件,创建一个 file 对象,然后进行操作 open 语法12345678910open(file, mode='r', buffering=None, encoding=None, errors=None, newl 2021-03-17 Python #Python
Python 内置模块之 ConfigParser - 解析 ini 文件 ini配置文件是被configParser直接解析然后再加载的,如果只是修改配置文件,并不会改变已经加载的配置 INI文件结构简单描述INI文件就是扩展名为“ini”的文件。在Windows系统中,INI文件是很多,最重要的就是“System.ini”、“System32.ini”和“Win.ini”。该文件主要存放用户所做的选择以及系统的各种参数。用户可以通过修改INI文件,来改变应用程序和系统 2021-03-17 Python #Python
Python 内置模块之 argparse - 解析命令行参数 官方文档:https://docs.python.org/zh-cn/3.8/library/argparse.html python 命令行参数(sys.argv)有时候我们需要写一些脚本处理一些任务,这时候往往需要提供一些命令行参数,根据不同参数进行不同的处理,在 Python 里,命令行的参数和 C 语言很类似(因为标准 Python 是用 C 语言实现的)。在 C 语言里,main 2021-03-17 Python #Python
Python 内置模块之 bytes 官方文档:https://docs.python.org/zh-cn/3.8/library/argparse.html 0、bytes类型的特性Python 3.x之后,Python自带字符默认使用utf-8格式编码和显示: Python默认字符串string数据类型是utf-8显示形式的序列 bytes数据类型是utf-8格式的二进制形式的不可变序列 bytearray数据类型是ut 2021-03-17 Python #Python
Python 内置模块之 difflib - 差异化比较 简介Difflib 是 Python 编程语言中的一个内置模块,帮助我们进行差异化比较。 它能够生成文本或者 html 格式的差异化比较结果,如果需要比较目录的不同,可以使用 filecmp 模块。 Python Difflib 模块中最常用的类是 Differ 和 Sequence Matcher 类。还有一些其他辅助类和函数,可以用于更特定的操作。 class difflib.Sequence 2021-03-17 Python #Python
Python 内置模块之 os 之 os.for() 官方文档:https://docs.python.org/zh-cn/3.8/library/argparse.html 简介os.fork() 是 Python 中在 Unix/Linux 系统的一个函数,它在当前进程中创建一个子进程。这个函数是 os 模块的一部分,直接调用了 Unix/Linux 系统的 fork 系统调用。fork 系统调用非常基础且强大,允许操 2021-03-17 Python #Python
Python 内置模块之 re - 正则表达式 在 Python 中需要通过正则表达式对字符串进⾏匹配的时候,可以使⽤⼀个 Python 自带的模块,名字为 re。 常用方法: match():从头匹配 search():从整个文本搜索 findall():找到所有符合的 split():分割 sub():替换 group():结果转化为内容 groupdict():结果转化为字典 re.match尝试从字符串的起始位置匹配一个模式,如果不 2021-03-17 Python #Python
Python 内置模块之 struct 官方文档:https://docs.python.org/zh-cn/3/library/struct.html 0、前言不同类型的语言支持不同的数据类型,比如 Go 有 int32、int64、uint32、uint64 等不同的数据类型,这些类型占用的字节大小不同,而同样的数据类型在其他语言中比如 Python 中,又是完全不同的处理方式,比如 Python 的 int 既可以是有符号的, 2021-03-17 Python #Python
Python 内置模块之 subprocess 官方文档:https://docs.python.org/3/library/subprocess.html 0、背景在用python编程时,我们经常会需要调用外部命令,比如用调用一些 Linux 的命令。这个时候就可以用到subprocess这个模块了。 subprocess 模块是 python 从2.4版本开始引入的模块。主要用来取代一些旧的模块方法,如os.system、os.spaw 2021-03-17 Python #Python
Python 内置模块之 tqdm 官方文档:https://docs.python.org/zh-cn/3.8/library/argparse.html Tqdm 是一个快速,可扩展的 Python 进度条,可以在 Python 长循环中添加一个进度提示信息,用户只需要封装任意的迭代器 tqdm(iterator)。 使用方法一: tqdm tqdm(list)方法可以传入任意一种list,比如数组 12345from 2021-03-17 Python #Python
go 安装 前言Go(又称Golang)是Google开发的一种静态强类型、编译型、并发型,并具有垃圾回收功能的编程语言。 罗伯特·格瑞史莫(Robert Griesemer),罗勃·派克(Rob Pike)及肯·汤普逊(Ken Thompson)于2007年9月开始设计Go,稍后Ian Lance Taylor、Russ Cox加入项目。Go是基于Inferno操作系统所开发的。 Go于2009年11月正 2021-03-17 Java #Java
idea 单步断点调试Step Into、Step Out、Step Over、Run to Cursor Step Over:(快捷键 F8)。 作用:程序向下执行一行(如果当前行有方法调用,这个方法将被执行完毕返回,然后到下一行) Step Over与Step Into最大不同是,如果当前代码是一个子函数,Step Inot则跳转进入子函数,而Step Over则不进入子函数,相当于把跳转子函数的那段代码当做普通代码单步执行。 Step Into:(快捷键 F7)。 作用:一步步按照代码的执行顺 2021-03-17 Java #Java
idea 快捷键及后缀语法 快捷键123456ctrl + alt + v 将光标放在 new Helloworld(); 上,按左边的快捷键自动生成左边代码, 或者在 new Helloworld().var 也可以自动生成左边的代码。ctrl + alt + l 自动格式化代码alt + insert 生成构造函数和get、set 函数,tostring,overridealt + enter 2021-03-17 Java #Java
idea 查看接口的实现类、父类继承关系、方法调用 接口下右键Diagrams->Show Diagram,选中接口右键Show Implementations 接口下按Ctrl+H: 按下接口类名左边按钮: 使用Hierarchy 窗口查看。打开方式:navigate–>type hierarchy。打开后如下: 比通过小箭头的方式查看功能更丰富,圈出来的几个按钮: 左边那个是将当前类作为子类,显示它的父类; 中间这 2021-03-17 Java #Java
idea 设置 Python 环境 在 IDEA 中安装支持 python 的插件:File->Settings->Plugins 在 marketplace 中搜索“python”,找到”Python Community Edition”插件并点击安装。 添加 Python 的 module:File->Project Structure->Module->New Module: 配置 Pyt 2021-03-17 Java #Java
idea 设置项目文件夹类型 idea 设置项目文件夹类型有两种方式: 第一种方法:在你要更改的文件夹上右键单击 --> 选择make directory as --> 选择你要更改的文件夹类型 第二种方法:单击 File --> Project structure --> Modules 然后即可把文件修改为对应的类型。 不同类型文件夹区别1. Source roots (or sourc 2021-03-17 Java #Java
00-ffmpeg 简介 简介FFmpeg 的主要组成部分: libavcodec:一个包含了所有FFmpeg音视频编解码器的库。 libavformat:一个包含了所有的普通音视格式的解析器和产生器的库。 三个实例程序(这三个实例基本可以作为API使用手册): ffmpeg:命令行的视频格式转换程序。 ffplay:视频播放程序。(需要SDL支持) ffserver:多媒体服务器 了解了它的大体组织结构,就明确了 2021-03-12 ffmpeg #ffmpeg