七叶笔记 » 数据库 » Clickhouse系列之整合Hive数据仓库示例详解

Clickhouse系列之整合Hive数据仓库示例详解

前言

什么是Hive? Apache Hive 数据仓库软件便于使用SQL读取、写入和管理驻留在分布式存储中的大型数据集。结构可以投射到已存储的数据上。提供了一个命令行工具和JDBC驱动程序,用于将用户连接到Hive。

Hive引擎允许您对HDFS配置单元表执行SELECT查询。目前支持如下输入格式:

文本:仅支持简单标量列类型,二进制除外;ORC:支持除char以外的简单标量列类型;仅支持数组等复杂类型;parquet:支持所有简单的标量列类型;仅支持数组等复杂类型。

正文

创建Hive引擎表详细信息以及参数详解

表结构可以与原始配置单元表结构不同:

列名应该与原始配置单元表中的列名相同(推荐列名相同处理),但您可以只使用其中的一些列,并且可以按任何顺序使用,也可以使用从其他列计算的一些别名列。列类型应与原始配置单元表中的列类型相同。按表达式划分应该与原始Hive表一致,按表达式划分中的列应该在表结构中。

引擎参数:

thrift://host:port-配置单元元存储地址database—远程数据库名称。table—远程表名称。

实战案例

为远程文件系统启用本地缓存。通过官方的基准测试表明,使用缓存的速度快了近两倍。在使用缓存之前,将其添加到config.xml

参数详解:

enable:ClickHouse将在启动后维护远程文件系统(HDFS)的本地缓存(如果为true)。root_dir:必需。用于存储远程文件系统的本地缓存文件的根目录。limit_size:必填。本地缓存文件的最大大小(字节)。bytes_read_before_flush:从远程文件系统下载文件时,在刷新到本地文件系统之前控制字节数。默认值为1MB。

尽管ClickHouse在启用远程文件系统本地缓存的情况下启动时,我们仍然可以选择不使用其查询中设置为use_local_cache_for_remote_fs=0的缓存。use_local_cache_for_remote_fs默认为false。

ORC数据格式 Hive创建ORC数据格式表 Clickhouse创建Hive表引擎 通过Clickhouse查询Hive数据

Parquet数据格式 Hive创建Parquet数据格式表 Clickhouse创建Hive表引擎 通过Clickhouse查询Hive数据

TextFile数据格式 Hive创建TextFile数据格式表 Clickhouse创建Hive表引擎 通过Clickhouse查询Hive数据

总结

本节主要讲解了Clickhouse整合Hive数仓,利用了Hive引擎并通过thrift方式去连接,需要注意这种连接参数的设置以及代表意义。另外,这个过程我们需要注意的是,推荐开启缓存,这样查询速度会快很多。与此同时,也对Hive常用的三种数据类型ORC,Parquet,TextFile进行了一个实战案例操作,更多关于Clickhouse整合Hive数据仓库的资料请关注七叶笔记其它相关文章!

相关文章