kylin 系列(一)安装部署
一、环境说明
1.1 版本选择
cdh 版本下载地址:http://archive.cloudera.com/cdh5/cdh/5/
软件名称 | 版本 |
---|---|
JDK | 1.8 |
HADOOP | Hadoop2.6.0-cdh5.10 |
ZOOKEERER | 3.4.5 |
HBASE | Hbase1.2.0-cdh5.10 |
HIVE | Hive1.2.0-cdh5.10 |
KAFKA | Kafka0.10 |
KYLIN | Kylin2.3.2 |
1.2 节点准备
节点 | 说明 |
---|---|
CDH-01 | |
CDH-02 | |
CDH-03 |
二、Kylin 安装与配置
2.1 软件下载
Kylin 下载地址:https://archive.apache.org/dist/kylin/
2.2 解压
tar -zxvf apache-kylin-2.3.2
ln -sv /opt/bigdata/software/apache-kylin-2.3.2 /opt/bigdata/kylin
2.3 配置环境变量
export HADOOP_HOME=/opt/bigdata/hadoop
export HBASE_HOME=/opt/bigdata/hbase
export HIVE_HOME=/opt/bigdata/hive
export HIVE_CONF_HOME=$HIVE_HOME/conf
export HCAT_HOME=$HIVE_HOME/hcatalog
export KAFKA_HOME=/opt/bigdata/kafka
export KYLIN_HOME=/opt/bigdata/kylin
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export PATH=$PATH:$HBASE_HOME/bin:$HIVE_HOME/bin:$HCAT_HOME/bin:$KAFKA_HOME:bin:$KYLIN_HOME/bin
2.4 kylin 配置文件
vi kylin.properties
# 配置节点类型(kylin 主节点模式为 all,从节点的模式为 query)
# 注意主从节点类型不一致
kylin.server.mode=all
# kylin 集群节点配置
kylin.server.cluster-servers=CHD-01:7070,CHD-02:7070,CHD-03:7070
# 定义 kylin 用于 MRjobs 的 job.jar 和 hbase 的协处理 jar,用于提升性能(添加项)
kylin.job.jar=/opt/bigdata/kylin/lib/kylin-job-2.3.2.jar
kylin.coprocessor.local.jar=/opt/bigdata/kylin/lib/kylin-coprocessor-2.3.2.jar
三、Kylin 启动
启动 Kylin 前需要启动 Hadoop、Zookeeper、Hbase、Hive 等服务。
3.1 依赖检查
# 执行下面的检查命令会在 hdfs 上创建 kylin 目录
./check-env.sh
# 检查数据源 hive 和数据存储 hbase
./find-hive-dependency.sh
./find-hbase-dependency.sh
3.2 启动 kylin 服务
# 每个节点都需要单独启动
bin/kylin.sh start
每个节点都可以查看对应的 WEB UI:http://ip:7070/kylin,默认的用户名和密码: admin/kylin
四、Kylin 测试
启动 kylin 之后运行 sample.sh 脚本(任意集群节点运行都可以)
./sample.sh
导入 sample 数据,模型,cube 成功之后系统会提示重启 kylin 或重新加载元数据让数据生效
每天用心记录一点点。内容也许不重要,但习惯很重要!