演讲嘉宾
大数据核心技术与应用实战峰会常冰琳
小米云平台软件工程师小米云平台工程师,长期专注于Hadoop生态的分布式计算框架,Hadoop,Hive和Kudu等多个开源项目的贡献者,Haodoop Nativetask项目发起者(已合入Hadoop)。华中科技大学硕士毕业后在百度商务搜索和基础架构部门,从事数据分析平台搭建以及Hadoop开发工作;之后在VMware从事Hadoop开发,目前在小米负责SQL类数据分析平台,最早在国内引入Kudu,一个新的分析型存储引擎,目前在利用Impala和Kudu搭建实时数据分析服务。
演讲主题
使用Kudu搭建OLAP云服务Kudu是2015年Cloudera最新公布的开源项目,弥补了在线事务处理(OLTP)和在线分析(OLAP)之前的空白,本演讲将简单介绍Kudu的设计思想和具体实现,以及小米作为Kudu最早用户的一些实践经验。接下来详细介绍小米如何利用Kudu和Impala构建数据分析云服务,简化数据分析流程,包括如何充分利用Kudu的特性,利用简单的SQL界面完成数据实时导入,数据和查询管理,进行实时分析和复杂查询,存储并服务分析结果,以及权限,资源隔离和调度方面的设计,最后对未来的工作进行展望。