本文共 1106 字,大约阅读时间需要 3 分钟。
一、安装准备 1, 下载sqoop包 http://mirrors.hust.edu.cn/apache/ sqoop分为1.4和1.9版本,1.9版本为交互版本,即服务器端、客户端,1.4为工具版本,直接运行即可,1.4版本根据hadoop版本来区别,本例使用2.6版本的haddop,所以安装时,选择sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz版本。二、安装sqoop
1,解压文件sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz到usr/local下 /usr/local/hbase 2,添加环境变量 vim /etc/profile # set hbase export HQOOP_HOME=/usr/local/hqoop export PATH=$PATH:$HQOOP_HOME/bin 3,设置sqoop配置文件 (1) sqoop/conf文件夹下,拷贝sqoop-env-template.sh到sqoop-env.sh。[root@locahost conf]mv sqoop-env-template.sh sqoop-env.sh(2) 修改sqoop-env.sh,如果不存在hbase和zookeeper,则注释掉。 (3) sqoop/bin文件夹下,修改configure-sqoop,注释掉hcat_home,accumulo_home,zookeeper_home相关的check。 4,将 mysql-connector-java-5.1.32-bin.jar复制到sqoop/lib下,注意jar包版本需要和mysql版本相近,本例使用mysql5.6.25。 三,使用sqoop 1,列出mysql数据库中所有的数据库 sqoop list-databases --connect jdbc:mysql://192.168.189.10:3306/ -username 2,列出mysql的数据库中所有的表 sqoop list-databases --connect jdbc:mys 3,将mysql数据库的表导入hive sqoop import --connect jdbc:mysql://192.168.189.10:3306/db1--username root --password 123456 --table user_info --hive-import --hive-database hivedb --hive-table user_info -m 1