黄 波

新浪微博feed技术专家

2010年加入新浪微博，微博研发中心feed技术专家，负责微博Feed流排序和推荐相关项目。目前专注于基于Spark、Storm等计算平台的大数据处理，致力于将分布式计算与机器学习技术应用于微博Feed排序和推荐等场景。

介绍新浪微博的微博整体的平台架构和大数据架构，然后介绍Feed产品和Feed流程，以及Spark在Feed场景下的应用。
主体内容中，主要以Feed排序为例，深度介绍Spark和Feed排序结合。
首先介绍新浪微博Feed排序面临的问题，以及新浪微博Feed排序的技术架构。
然后介绍模型训练和Spark MLlib的结合，主要介绍LR和GBDT相关应用。
之后介绍实时特征抽取和Spark Streaming的结合，以及Spark Streaming和Storm的一些优劣对比。
最后介绍Spark SQL、Spark Graphx在特征生成的应用。