博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hive 数据迁移
阅读量:7026 次
发布时间:2019-06-28

本文共 616 字,大约阅读时间需要 2 分钟。

hot3.png

1. 设置默认需要导出的hive数据库
vi ~/.hiverc
use logbase;
2. 创建数据临时目录
hdfs dfs -mkdir /tmp/hive-export
3.生成导出数据脚本
hive -e "show tables " | awk '{printf "export table %s to @/tmp/hive-export/%s@;\n",$1,$1}' | sed "s/@/'/g" > export.hql
手工去掉第一行(因为第一行是tab_name,不是实际表)
4.手工导出数据到hdfs
hive -f export.hql
5. 下载hdfs数据到本地并传送到目标hadoop集群的/tmp/hive-export 目录
hdfs dfs -get /tmp/hive-export/*
hdfs dfs -put * /tmp/hive-export
 7.构造导入语句
cp export.sql import.sql
sed -i 's/export table/import table/g' import.sql

参考官网:

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ImportExport

转载于:https://my.oschina.net/u/2438020/blog/498237

你可能感兴趣的文章
C#访问修饰符(public,private,protected,internal,sealed,abstract)
查看>>
android消息线程和消息队列
查看>>
EXCEL中计算不重复单元格的个数
查看>>
二层设备与三层设备的区别--总结
查看>>
安装pytorch成功但cuda不可用
查看>>
unity__DrawCall的理解
查看>>
springboot架构下运用shiro后在configuration,通过@Value获取不到值,总是为null
查看>>
SQLServer 数据库镜像+复制切换方案
查看>>
Postman初探
查看>>
仿淘宝头像上传功能(一)——前端篇。
查看>>
Eclipse通过集成svn实现版本控制
查看>>
OS开发过程中常用开源库
查看>>
关于在多个UItextield切换焦点
查看>>
hdu 2768
查看>>
git记住用户名密码
查看>>
ElasticSearch(2)-安装ElasticSearch
查看>>
从mysql数据表中随机取出一条记录
查看>>
ORACLE 锁表处理,解锁释放session
查看>>
深海机器人问题
查看>>
ios开发之 -- invalid nib registered for identifier
查看>>