1、配置hive-site.xml文件,使用mysql作为metestore
mv hive-default.xml.template hive-site.xml
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>1</value>
<description>password to use against metastore database</description>
</property>
2、Hive操作实例
###创建内部表
create table user_info(id bigint, account string, name string, age int) row format delimited fields terminated by '\t';
create table trade_detail(id bigint, account string, income double, expenses double, time string) row format delimited fields terminated by '\t';
#导入数据
load data local inpath '/home/jzk/tmp/user_info' into table user_info;#从本地追加数据到表
load data inpath '/trade_detail' overwrite into table trade_detail;#从hdfs上导入数据到表(覆盖原先的表),并将hdfs上的数据删除
select t1.name,t1.account,t2.income,t2.expenses,t2.surplus from user_info t1 join (select sum(income) as income,sum(expenses) as expenses,sum(income-expenses) as surplus,account from trade_detail group by account) t2 on t1.account = t2.account;
该语句将转换成mapreduce过程
#创建外部表
create external table t_ext(id int,name string) row format delimited fields terminated by '\t' location '\ext';
#复杂类型的数据表
create table complex(name string,work_locations array<string>) row format delimited fields terminated by '\t' collection items terminated by ',';
数据内容
ngfengxiao beijing,shanghai,tianjin,hangzhou
linan changchu,chengdu,wuhan
select * from complex;
OK
ngfengxiao ["beijing","shanghai","tianjin","hangzhou"]
linan ["changchu","chengdu","wuhan"]
select name,work_locations[0] from complex;
###分区
create table classmem(student string,age int) partitioned by(teacher string);
分区文件
classmem_Misli
huangfengxiao 20
lijie 21
dongdong 21
liqiang 21
hemeng 21
classmem_MrXu
dingding 19
wangqiang 19
lidong 19
hexing 19
load data local inpath '/home/jzk/tmp/classmem_Misli' into table classmem partition (teacher='Mis.li');
load data local inpath '/home/jzk/tmp/classmem_MrXu' into table classmem partition (teacher='Mr.xu');
分享到:
相关推荐
JDBC连接hive,用JD连接hive。
用户Java对于hive的实例操作,帮助更好地加深对hive语句的理解
java操作Hive源码之HiveJDBC实例(mysql数据库),附带所需jar包,欢迎下载学习。
Scala代码积累之spark streaming kafka 数据存入到hive源码实例,Scala代码积累之spark streaming kafka 数据存入到hive源码实例。
大数据的hive资源的详细代码设计以及分享,望博友相互交流
Hive实例当前支持以下功能 hive.fetch(query, callback);hive.fetchInBatch(batchSize, query, callback);hive.execute(query, [callback]);查询回调接收两个参数... error ,如果有error ,则为true re
HIVE-分桶表的详解和创建实例.docx
hive影评案例.zip
《Hive编程指南》是一本Apache Hive的编程指南 旨在介绍如何使用Hive的SQL方法 HiveQL来汇总 查询和分析存储在Hadoop分布式文件系统上的大数据集合 全书通过大量的实例 首先介绍如何在用户环境下安装和配置Hive 并对...
hive JDBC连接实例 maven工程
HiveAPI 用Java编写的Hive Rest API
基于hadoop的Hive数据仓库JavaAPI简单调用的实例,关于Hive的简介在此不赘述。hive提供了三种用户接口:CLI,JDBC/ODBC和 WebUI CLI,即Shell命令行 JDBC/ODBC 是 Hive 的Java,与使用传统数据库JDBC的方式类似 Web...
大数据小型实战项目源码之Hive 通过日期计算星座实例,附带所需全部jar包,欢迎下载学习
HIVE操作注册表.rar HIVE操作注册表.rar HIVE操作注册表.rar
windows系统下eclipse集成hadoop,spark,hive开发环境
包含video user数据
《Hive编程指南》是一本ApacheHive的编程指南,旨在...《Hive编程指南》通过大量的实例,首先介绍如何在用户环境下安装和配置Hive,并对Hadoop和MapReduce进行详尽阐述,最终演示Hive如何在Hadoop生态系统进行工作。
-IDEA搭建及实战.pdf4.Spark运行架构.pdf5.Hive(上)--Hive介绍及部署.pdf5.Hive(下)--Hive实战.pdf6.SparkSQL(上)--SparkSQL简介.pdf6.SparkSQL(下)--Spark实战应用.pdf6.SparkSQL(中)--深入了解运行计划...
hive inputformat实例代码,按照空格对日志文件进行拆分
《Hive编程指南》是一本Apache Hive的编程指南,旨在介绍如何使用...全书通过大量的实例,首先介绍如何在用户环境下安装和配置Hive,并对Hadoop和MapReduce进行详尽阐述,最终演示Hive如何在Hadoop生态系统进行工作。