Kylin, Mondrian, Saiku系统的整合

本文主要介绍有赞数据团队为了满足在不同维度查看、分析重点指标的需求而搭建的OLAP分析工具。这个工具对Kylin、Mondrian以及Saiku做了一个整合,主要工作包括一些定制化的修改以及环境的配置。
目前这个系统还处于一个需要优化、完善的过程,这篇博文也会相应地更新。

背景

有赞发展的初期,数据团队主要的工作之一就是根据运营人员的报表需求,编写sql,从hive中获得数据并写入mysql中存储。最后,前端人员写相应的代码展现mysql中存储的报表数据。
随着公司业务的快速发展,如此长周期的报表开发流程已经很难跟上运营人员的分析需求了。为了避免深陷报表开发、维护的泥潭,数据组决定调研大数据场景下的OLAP分析工具。参考了明略数据的解决方案之后,我们选择整合KylinMondrianSaiku来实现这样一个OLAP系统。

Read more

kylin初体验

从去年12月开始,为了提高公司OLAP系统的查询速度,开始接触kylin,前前后后折腾了近三个月。踩了无数的坑,才算是初窥门径。特在此把自己的感悟、理解记录下来,算是重新梳理一边自己的所得,也希望能给众位正在使用kylin或者打算使用kylin的小伙伴们提供一点帮助😊

一句话的概括(我的理解)

kylin将OLAP分析的星型模型schema的所有group by聚合结果存储在HBASE的表中,通过将sql查询转化成对hbase表的聚合操作的方式大大提高查询速度。

Read more

《穷爸爸富爸爸》书摘

豆瓣链接

  • 税是惩勤奖懒
  • 如果有事情必须被改变,首先要改变的是自己
  • 穷人和中产阶级为钱而工作。富人让钱为他工作
  • 要对现状感到一定程度的愤怒。 激情是愤怒和热爱的结合体
  • 你挣钱时得交税,花钱时也得缴税。你存钱时得缴税,你死时还得缴税
  • 以你喜欢的方式运用你的头脑和感情,不要让它们控制你
  • 随着金融衍生品的出现和经济形式的日益复杂,支配金钱已经成为在世界经济中幸存的必要条件
  • 只有知识才能解决财务问题。那些不是靠财务知识挣来的钱也不会长久
  • 富人获得资产,穷人和中产阶级获得负债,只不过他们以为那些负债就是资产
  • 我的顾问团队是我最大的资产之一
Read more