演讲嘉宾
云计算核心技术与架构王 耀
百度基础架构部架构师,百度开放云非结构化存储系统技术负责人百度基础架构部架构师,百度开放云非结构化存储系统技术负责人。2010年加入百度社区搜索部,从事消息队列、检索、feed等社区基础服务开发工作,之后转入基础架构部存储团队,先后参与或主导了百度的分布式消息队列、分布式文件系统、分布式块存储和分布式对象存储系统的开发工作。在编程语言、性能优化、分布式存储领域有比较多的实战经验,资深轮子党。
演讲主题
百度的分布式文件系统之路介绍百度的文件系统发展之路,从使用各种开源实现开始,最终走上自研的道路。阿拉丁团队使用glusterfs,系统扩展性和性能遇到瓶颈,中间出现了几次问题。凤巢团队使用moosefs,在使用过程中master瓶颈,出现数次长时间停服务。我们开始决定自研一个posix兼容的分布式文件系统CCDB-NFS来满足这部分需求,将文件元信息和数据组织在一起降低Master开销。解决了在线的posix兼容类需求之后,之后将目光转移到离线存储,又立项开发了AFS,构建新一代的存储系统基石,百度的Colossus,并支持其上的Table业务,同时托管公司的在离线机房的磁盘来满足日益增长的各类存储需求。