博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop安装之-sqoop
阅读量:4143 次
发布时间:2019-05-25

本文共 1106 字,大约阅读时间需要 3 分钟。

一、安装准备
1, 下载sqoop包 http://mirrors.hust.edu.cn/apache/
        sqoop分为1.4和1.9版本,1.9版本为交互版本,即服务器端、客户端,1.4为工具版本,直接运行即可,1.4版本根据hadoop版本来区别,本例使用2.6版本的haddop,所以安装时,选择sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz版本。

二、安装sqoop

1,解压文件sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz到usr/local下
      /usr/local/hbase
2,添加环境变量
      vim /etc/profile
      # set hbase
      export HQOOP_HOME=/usr/local/hqoop
      export PATH=$PATH:$HQOOP_HOME/bin
3,设置sqoop配置文件
(1) sqoop/conf文件夹下,拷贝sqoop-env-template.sh到sqoop-env.sh。

[root@locahost conf]mv  sqoop-env-template.sh  sqoop-env.sh
(2) 修改sqoop-env.sh,如果不存在hbase和zookeeper,则注释掉。
(3) sqoop/bin文件夹下,修改configure-sqoop,注释掉hcat_home,accumulo_home,zookeeper_home相关的check。
4,将
mysql-connector-java-5.1.32-bin.jar复制到sqoop/lib下,注意jar包版本需要和mysql版本相近,本例使用mysql5.6.25。
三,使用sqoop
1,列出mysql数据库中所有的数据库
sqoop list-databases --connect jdbc:mysql://192.168.189.10:3306/ -username
2,列出mysql的数据库中所有的表
sqoop list-databases --connect jdbc:mys
3,将mysql数据库的表导入hive
sqoop import --connect jdbc:mysql://192.168.189.10:3306/db1--username root --password 123456 --table user_info --hive-import --hive-database hivedb --hive-table user_info -m 1

你可能感兴趣的文章
zju 1005 zoj 1005
查看>>
C语言8
查看>>
Qt实现简单延时
查看>>
qml有关矩形说明
查看>>
在qt中使用QSplitter设置初始比例setStretchFactor失效的解决方法
查看>>
repeater的使用
查看>>
qt msvc编译中文乱码解决
查看>>
qt实现点击出现窗口,点击其他任何地方窗口消失
查看>>
QML DropArea拖拉文件事件
查看>>
CORBA links
查看>>
读后感:>
查看>>
ideas about sharing software
查看>>
different aspects for software
查看>>
To do list
查看>>
Study of Source code
查看>>
如何使用BBC英语学习频道
查看>>
spring事务探索
查看>>
浅谈Spring声明式事务管理ThreadLocal和JDKProxy
查看>>
初识xsd
查看>>
java 设计模式-职责型模式
查看>>