• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

Apache Kylin安装指南+入门案例(附图)

互联网 diligentman 3个月前 (10-23) 61次浏览

Apache Kylin安装文档

  • Kylin安装
  • Kylin使用案例

1. Kylin安装

  • 使用FTP工具上传apache-kylin-2.5.1-bin-hbase1x.tar.gz压缩包到node01的opt/software目录下

  • 解压上一步上传的压缩包opt/moduletar -zxvf apache-kylin-2.5.1-bin-hbase1x.tar.gz -C /opt/module

  • 进入opt/module目录,更改apache-kylin-2.5.1-bin-hbase1x目录名字mv pache-kylin-2.5.1-bin-hbase1x kylin-2.5.1

  • 此时opt/module目录结构如下
    Apache Kylin安装指南+入门案例(附图)

  • 进入到kylin-2.5.1目录,查看kylin的目录结构
    Apache Kylin安装指南+入门案例(附图)

  • 进入conf目录,将 kylin.properties.template改成kylin.properties,命令:mv kylin.properties.template kylin.properties

  • 编辑kylin.properties文件,添加以下内容

     # 下面的node01是你的主机名,我将kylin装在了第一个节点上,需要根据你的主机名更改
     kylin.server.cluster-servers=node01:7070
     kylin.server.mode=all
    
  • /etc/profile下添加java hadoop hive hbase kylin spark的环境变量,下面参考我的设置

     # JAVA_HOME
     export JAVA_HOME=/opt/module/jdk1.8.0_144
     export PATH=:$JAVA_HOME/bin:$PATH
     
     # HADOOP_HOME
     export HADOOP_HOME=/opt/module/hadoop-2.7.2
     export PATH=$PATH:$HADOOP_HOME/bin
     
     # SPARK_HOME
     export SPARK_HOME=/opt/module/spark-2.1.1
     export PATH=$PATH:$SPARK_HOME/bin
     
     # HIVE_HOME
     export HIVE_HOME=/opt/module/hive-1.2.1
     export PATH=$PATH:$HIVE_HOME/bin
     
     # HBASE_HOME
     export HBASE_HOME=/opt/module/hbase-1.3.1
     export PATH=$PATH:$HBASE_HOME/bin
     
     # KYLIN_HOME
     export KYLIN_HOME=/opt/module/kylin-2.5.1
     export PATH=$PATH:$KYLIN_HOME/bin
    
  • 使用分发命令分发/etc/profile文件,命令是xsync /etc/profile

     # 附xsync脚本
     # 注意的两个地方看下图 一个是更改 for循环中的条件,一个是更改用到主机名的地方
     # 使用文件分发脚本步骤如下
      1. cd /usr/local/bin
      2. vim xsync
      3. 输入下面的shell脚本内容
      4. chmod 777 xsync
      5. 在任意一个位置创建一个文件,然后测试xsync脚本
      
     
     #!/bin/bash
     #1 获取输入参数个数,如果没有参数,直接退出
     pcount=$#
     if((pcount==0)); then
     echo no args;
     exit;
     fi
     
     #2 获取文件名称
     p1=$1
     fname=`basename $p1`
     echo fname=$fname
     
     #3 获取上级目录到绝对路径
     pdir=`cd -P $(dirname $p1); pwd`
     echo pdir=$pdir
     
     #4 获取当前用户名称
     user=`whoami`
     
     #5 循环
     for((host=1; host<4; host++)); do
             echo ------------ node0$host ----------------
                     # rsync是远程同步工具 -r递归 -v显示复制过程 -l拷贝软连接
             rsync -rvl $pdir/$fname $user@node0$host:$pdir
     done
    

    Apache Kylin安装指南+入门案例(附图)

  • 由于上面在/etc/profile文件中新增了内容,需要键入source /etc/profile让刚刚做的修改立即生效

  • 正式分发/etc/profile文件,键入命令xsync /etc/profile

  • 到第二个和第三个节点上查看/etc/profile文件中的内容是否和第一个节点中的文件内容一致

  • 在第二个节点和第三个节点上键入命令source /etc/profile

  • 进入kylin的安装目录 cd /opt/module/kylin-2.5.1/
    Apache Kylin安装指南+入门案例(附图)

  • 键入以下命令以分别检查环境

     # 检查环境
     bin/check-env.sh
     # 检查hive依赖
     bin/find-hive-dependency.sh
     # 检查hbase依赖
     bin/find-hbase-dependency.sh
    
  • 启动/停止Kylin

     # 启动Kylin
     bin/kylin.sh start
     # 停止Kylin
     bin/kylin.sh stop
    
  • Warnings这里目前收集了一次错误,之前都解决了,如果有需要请在帖子下方留言您的error

    错误ERROR: Check hive's usability failed, please check the status of your cluster

    解决 在kylin的安装目录下进入bin目录然后找到check-hive-usability.sh,之后键入命令vim check-hive-usability.sh编辑该文件,修改timeLeft的值为100(默认值为60),见下图
    Apache Kylin安装指南+入门案例(附图)

  • 进入web界面

    如果成功启动,在terminal中键入jps命令会出现RunJar的进程,terminal末尾的显示的信息如下图
    Apache Kylin安装指南+入门案例(附图)

     # 进入浏览器,在地址栏中输入
     node01:7070/kylin/login
     # 账号和密码信息
     账号:ADMIN
     密码:KYLIN
    
  • Web界面如下
    Apache Kylin安装指南+入门案例(附图)


2.Kylin使用案例

  • 数据准备

  • 进入到Hive的操作界面

    • 创建数据库

      # 创建部门表
      create external table if not exists default.dept(
      deptno int,
      dname string,
      loc int
      )
      row format delimited fields terminated by 't';
      
      # 创建员工表
      create external table if not exists default.emp(
      empno int,
      ename string,
      job string,
      mgr int,
      hiredate string, 
      sal double, 
      comm double,
      deptno int)
      row format delimited fields terminated by 't';
      
    • 查看创建的表

      show tables;

    • 向表中导入数据

      # 将从网盘中下载好的数据文件导入到节点的`/opt/module/datas`目录下(datas目录是自己手动创建的)
      # 这里Hive中就使用默认的数据库default数据库
      
      # 向部门表dept中导入数据
      load data local inpath '/opt/module/datas/dept.txt' into table default.dept;
      
      # 向员工表emp中导入数据
      load data local inpath '/opt/module/datas/emp.txt' into table default.emp;
      
    • 查看两张表中的数据

      select * from emp;

      select * from dept;

  • 在Kylin的Web界面创建项目

    • 登录系统

      • 用户名:ADMIN 密码:KYLIN
    • 创建工程

      • 点击左上角的 + 号,输入Project Name和Project Description;最后点击页面卡右下方的Sumbit来提交
        Apache Kylin安装指南+入门案例(附图)

      Apache Kylin安装指南+入门案例(附图)

    • 选择数据源
      Apache Kylin安装指南+入门案例(附图)
      Apache Kylin安装指南+入门案例(附图)

    • 查看数据源
      Apache Kylin安装指南+入门案例(附图)

    • 创建Model

      • 回到Models页面
        Apache Kylin安装指南+入门案例(附图)

      • 填充Model名称和描述信息,然后继续Next

        Apache Kylin安装指南+入门案例(附图)

      • 选择事实表

        Apache Kylin安装指南+入门案例(附图)

      • 选择添加的维度表及JOIN的字段

        Apache Kylin安装指南+入门案例(附图)

      • 选择添加的维度表和JOIN的字段

        Apache Kylin安装指南+入门案例(附图)

      • 选择维度信息

        Apache Kylin安装指南+入门案例(附图)

      • 选择度量信息

        Apache Kylin安装指南+入门案例(附图)

      • 添加分区信息及where过滤条件,点击Save

        Apache Kylin安装指南+入门案例(附图)

      • ModelOne创建完成

        Apache Kylin安装指南+入门案例(附图)

    • 创建Cube

      • 选择Model -> New Cube,选择我们刚刚创建的ModelOne并填写Cube Name

        Apache Kylin安装指南+入门案例(附图)

      • 添加维度

        Apache Kylin安装指南+入门案例(附图)

        Apache Kylin安装指南+入门案例(附图)

      • 添加预计算内容
        Apache Kylin安装指南+入门案例(附图)

Apache Kylin安装指南+入门案例(附图)
Apache Kylin安装指南+入门案例(附图)
Apache Kylin安装指南+入门案例(附图)

Apache Kylin安装指南+入门案例(附图)

  • 创建好的Cube信息展
    Apache Kylin安装指南+入门案例(附图)
    • 到此为止,我们的CubeOne配置完成
  • 触发Cube预计算

    • 点击Action ->Build

      Apache Kylin安装指南+入门案例(附图)

    • 查看构建进度

      Apache Kylin安装指南+入门案例(附图)

    • Cube构建完成

      Apache Kylin安装指南+入门案例(附图)

  • 对比Kylin和Hive

    • Hive查询

      # 需求:根据部门名称统计员工薪水总数
      # 进入到Hive的Shell端口 bin/hive
      # 键入下面的语句
      
      select dname,sum(sal) from emp e join dept d on e.deptno = d.deptno group by dname;
      

      查询时间

      Apache Kylin安装指南+入门案例(附图)

    • Kylin查询

      进入Insight页面,输入SQL语句,点击Sumbit来提交

      Apache Kylin安装指南+入门案例(附图)

      Apache Kylin安装指南+入门案例(附图)


喜欢 (0)