前言

        前段时间有幸接触到Apache Carbondata,试用过程中发现了一个小小的问题,并且又很快的定位到了问题。然后在社区群里反映了下,负责人问愿不愿意提个JIRA,PR,然后我在没有任何开源项目PR过的情况下竟然欣然答应了。(可能跟ZB心有关吧o(╥﹏╥)o)然后来说说这段美妙而又酸爽的经历吧【学习到了很多】!

SRE实战 互联网时代守护先锋,助力企业售后服务体系运筹帷幄!一键直达领取阿里云限量特价优惠。

 

简介

        CarbonData是首个由中国公司发起并捐献给Apache基金会的开源项目,于2017年4月正式成为Apache顶级项目,由华为开源并支持Hadoop的高性能列式存储文件格式,其目的是提供一种统一的数据存储方案,以一份数据同时支持大数据分析的多种应用场景,All In One,并通过多级索引、字典编码、列式存储等特性提升 I/O 扫描和计算性能,实现百亿数据级秒级响应。目前最新版是1.5.1,集成了spark 2.1.0,2.2.1,2.3.2和Hadoop2.7.2,如果是其它版本,则需要自己编译源码!

 

 优势

      1. 规模比impala+kudu大,基于MPP架构的系统很难超过100节点。

       2. 没有进程,不需要单独部署集群,在现有hadoop/spark/presto上即可以使用。

       3. 有索引,对多维过滤查询不用全扫描。

       4. 有预汇聚,对OLAP

 

问题

      先抛出来试用过程中出现的问题。carbondata版本:1.5.0,spark 2.3.2     模式:本地 spark-shell

       例子:http://carbondata.apache.org/quick-start-guide.html

       记一次Apache Carbondata PR的经历 Hadoop 第1张   记一次Apache Carbondata PR的经历 Hadoop 第2张

 

         记一次Apache Carbondata PR的经历 Hadoop 第3张

 

        问题描述:   

        上面是提交JIRA的时候提交的bug再现流程,总的就是在创建 carbondata 的时候,getOrCreateCarbonSession方法默认有两个参数 storePath(存储table数据) metaStorePath(t存储able元数据),不传的话会默认创建,但可能好多人第一次使用的时候不清楚,然后会根据quick start 传一个空字符串,造成的结果就是每一步都显示成功,但最终carbondata表结果查询却是空。通过查看源码,在carbondata\integration\spark2模块中发现 getOrCreateCarbonSession  方法的storePath,metaStorePath参数都只是简单的 null 的判断,所以造成了本地创建storePath存储在空字符串中,导致最终查询不出来结果。

       解决方案:

       使用 StringUtils.isNotBlank 替代原来的简单 null 判断。

流程

      1) 首先注册Apache JIRA 账号(没有的话),注意在这一定要描述清楚你的问题的是什么,属于什么类型(优先级不一样)  例子:https://issues.apache.org/jira/projects/CARBONDATA/issues/CARBONDATA-3119?filter=allopenissues

       2)fork ,https://github.com/apache/carbondata。

             记一次Apache Carbondata PR的经历 Hadoop 第4张

 

     

    3)a. git config:    

        $ git config --global user.email "xxxxx@163.com"     --输入自己的git邮箱
        $ git config --global user.name "xxxxx"                     --输入自己的git name

 

       b. git clone

       $ git clone https://github.com/apache/carbondata.git   --把源码下载到自己置顶的本地目录

 

      c.

      git remote add XXXX https://github.com/XXXX/carbondata.git   --跟fork下来的carbondata git仓库关联起来

 

     d.

     git fetch --all

     git checkout -b  master   --直接使用master分支(当然也可以创建自己的分支)

   

     e.

     git add 修改的文件

     git commit -m "本次commit说明"

     git rebase -i  分支名字                             -- 这个命令是用来修改 已提交的 commit  的说明的。就是开源项目都有自己严格的规范,不合格需要重新提交commit说明

 

   f:

    git push 远程主机名 分支名     --提交到远程仓库  本地分支名和远程分支名一致

  

  当然远程提交之前确保测试用例是通过的,然后就可以直接在fork下来的仓库中 点击 Pull request了,一般这的说明都会有严格的模板例子,所以不要擅自改格式。提交了PR之后,就注意邮件消息等回复,需要修改或者不规范的地方需要回工,知道最终被merge。然后恭喜你就成为一名Apache carbondata 的contributors之一了。 那么楼主我自己很荣幸也是拿到了奖励的华为 小天鹅 蓝牙音箱,最主要的是荣誉感满满(虽然是小小的一次修改,但毕竟是第一次嘛,第一次还是很值得留念的博友们)

 

 项目编译过程中遇到的问题:

  1)在windows编译的的时候 maven 命令:

clean -DskipTests -Pbuild-with-format -Pspark-2.3 -Pwindows install

 

 

  2)首先需要本地安装 thrift 0.93,并配置环境变量。  根据 thrift --version查看是否安装成功

  3)import scala 包是有分组和组内排序的,注释也有严格的格式。 不然编译的时候会报 代码style不对,编译通不过的。

 

Apache carbondata官方网站:   http://carbondata.apache.org/

 

 

 记一次Apache Carbondata PR的经历 Hadoop 第5张

 

      

 记一次Apache Carbondata PR的经历 Hadoop 第6张

 

      

扫码关注我们
微信号:SRE实战
拒绝背锅 运筹帷幄