zeppelin安装以及连接hive3.1.2、mysql
前期准备
安装环境:CentOS-7、JDK1.8、hadoop3.1.3、hive3.1.2
软件版本:zeppelin-0.10.1-bin-all
安装zeppelin
将软件安装包移动至 /export/software 目录下,这里我用的是Termius软件
解压安装包
命令:
tar -zxvf zeppelin-0.10.1-bin-all.tgz -C /export/server/
创建快捷方式,方便后期修改
cd /export/server/
ln -s zeppelin-0.10.1-bin-all zeppelin
解压完后进入 conf 目录
命令:
cd zeppelin/conf/
创建修改配置文件
cp zeppelin-site.xml.template zeppelin-site.xml
vim zeppelin-site.xml
编辑内容如下:
继续创建修改配置文件
cp zeppelin-env.sh.template zeppelin-env.sh
vim zeppelin-env.sh
编辑内容如下:
1export JAVA_HOME=/export/server/jdk1.8.0_241
2
export HADOOP_CONF_DIR=/export/server/hadoop/etc/hadoop
修改 /etc/profile文件
命令
vim /etc/profile
在文件最后加入下面内容:
1zeppelin environment
2
export ZEPPELIN_HOME=/export/server/zeppelin/
3
export PATH=$PATH:$ZEPPELIN_HOME/bin
编译 /etc/profile 文件
命令
source /etc/profile
拷贝 hive 的配置文件 hive-site.xml 到 zeppelin/conf 下
命令:
cp /export/server/hive/conf/hive-site.xml /export/server/zeppelin/conf
拷贝下面的jar包到zeppelin安装目录下lib中
命令:
1cd /export/server/zeppelin/lib/
2
cp /export/server/hadoop/share/hadoop/common/hadoop-common-2.7.5.jar ./
3
cp /export/server/hive/lib/curator-client-2.12.0.jar ./
4
cp /export/server/hive/lib/guava-22.0.jar ./
5
cp /export/server/hive/lib//hive-jdbc-3.1.2.jar ./
6
cp /export/server/hive/lib/hive-common-3.1.2.jar ./
7
cp /export/server/hive/lib/hive-serde-3.1.2.jar ./
8
cp /export/server/hive/lib/hive-service-3.1.2.jar ./
9
cp /export/server/hive/lib/hive-service-rpc-3.1.2.jar ./
10
cp /export/server/hive/lib/libthrift-0.9.3.jar ./
11
cp /export/server/hive/lib/protobuf-java-2.5.0.jar ./
12
cp /export/server/hive/lib/commons-io-2.6.jar ./
13
cp /export/server/hive/lib/commons-lang-2.6.jar ./
14
cp /export/server/hive/lib/httpcore-4.4.4.jar ./
15
cp /export/server/hive/lib/httpclient-4.5.2.jar ./
16
cp /export/server/hive/lib/mysql-connector-java-5.1.32.jar ./
启动zeepelin
bin/zeppelin-daemon.sh start
打开 zeepelin 的web界面
输入网址 192.168.1.101:8080
web界面配置集成hive
先点击 interpreter
再点击create
填入如下信息:
hive
jdbc
org.apache.hive.jdbc.HiveDriver
jdbc:hive2://192.168.88.161:10000
root
添加驱动依赖
往下拉,点击save保存
在搜索栏搜索 hive
使用Zepplin的hive解释器
点击notebook,通过create new note创建一个notebook
填入下列信息:
测试命令,输入 show databases
,再点击右上角的小三角形执行命令
点击右上角设置符号可以进行窗口的调整
这里的 %hive 表示hive解释器,%sh 表示linux解释器
Zeppelin整合Mysql
zeppelin整合Mysql数据源,属于zeppelin通过JDBC方式,连接mysql数据库,获得数据,因此需要mysql驱动包
mysql驱动包
mysql-connector-java-5.1.38.jar
将mysql驱动包上传到 :/export/server/zeppelin/ 目录下
创建interpreter
打开浏览器输入192.168.88.162:8080进入Zeppelin首页,点击右上角菜单,点击interpreter,界面如下:
点击+create按钮进入配置界面
配置default.driver驱动为 com.mysql.jdbc.Driver
配置default.url、default.user、default.password
jdbc连接url地址 jdbc:mysql://192.168.88.161:3306
jdbc连接数据库用户名 root
jdbc连接数据库密码
配置Mysql驱动包在服务器的全路径
/export/server/zeppelin/mysql-connector-java-5.1.38.jar
创建notebook
点击左上角 Notebook 创建新的 Notebook
Interpreter选择mysql
在创建好的的notebook里进行sql开发