开发者俱乐部

标题: 刘喆：AdMaster的Lambda架构实践 [打印本页]

作者: xman 时间: 2016-11-30 00:28
标题: 刘喆：AdMaster的Lambda架构实践

　　2016 年11月25-26日，WOT2016大数据峰会在北京粤财JW万豪酒店召开，50多位大数据领域一线专家、数据技术先行者齐聚现场，在围绕数据智能、大数据商业、区块链、实时计算、系统架构、NoSQL等前沿技术话题展开深度交流和沟通探讨的同时，分享大数据领域最新实践和最热门的行业应用。
　　在WOT2016大数据技术峰会系统架构分会场，来自AdMaster的资深架构师刘喆发表了演讲，他的演讲主题是AdMaster的Lambda架构实践。会后51CTO记者在现场对他进行了专访。
　　【受访人简介】

刘喆AdMaster资深架构师

　　刘喆(Zhe Liu)，目前任现任架构师，主要负责数据处理的全流程技术支持，高性能和高可用的分布式架构设计， DSL 语言抽象， Hadoop/HBase/Storm/Spark等大数据平台优化。2010年硕士毕业后，刘喆在百度就职，负责当时全球规模最大的 hadoop 平台的运维开发工作. 2011年底加入人民搜索，代理运维总监。近7 年的大学生活和近 5 年的工作经历中，刘喆一直在追求简单直接，关注于数据挖掘/大数据/DSL/系统架构，对分布式计算/分布式架构和程序语言情有独钟，曾多次被51CTO/spark 峰会/into100峰会等邀请为嘉宾分享Hadoop/spark/开源软件等相关经验。
　　Lambda架构从何而来?他是由Storm的作者Nathan Marz提出，针对个实时大数据处理的一个框架。Marz在Twitter工作期间开发了著名的实时大数据处理框架Storm，Lambda架构是其根据多年进行分布式大数据系统的经验总结提炼而成。当记者问及最初选择Lambda架构的原由时，刘喆这样回答："其实不是我们选了Lambda，而是我们用了这个架构之后，发现这个东西叫Lambda。"
　　在Lambda架构基础上做开发
　　
　　Lambda架构因为具备高容错、低延时和可扩展等优势，被很多数据公司选用。刘喆在采访中说道，想要实时又快又准的任意在大数据集上进行查询计算等操作，可利用Lambda架构分解的三层架构来应对，这三层架构分别是Batch Layer，Speed Layer和Serving Layer。AdMaster并没有改变Lambda架构这三层主体，只是在数据接入层方面做一些增强，保证数据的完整性，针对这部分AdMaster开发自己的系统。数据处理方面，如用户的数据是不可变就可做实时覆盖，如用户的业务不能接受，数据可变，那就不能做实时覆盖。
　　Lambda架构运用于广告、社交等业务
　　当问及Lambda架构都能支持哪些业务时，刘喆老师表示，对于广告线可集中管理、执行、监控和追踪网络广告活动，提供监测数据，用户可以方便快速地获取广告的曝光、点击、频次、iGRP、广告覆盖人群等信息。社交方面，可品牌舆情和负面信息预警实时掌握。
　　Lambda架构的缺点及后期运维难点
　　刘喆表示，Lambda架构最大缺点就是把一份代码写了两次，如果下一次升级用户业务，或者升级用户算法时，就涉及到两个算法的修改。在批量处理和实时处理方面，修改是完全不一样的。社区针对这个问题提出两套方案Apahce beam和kappa，但尚未成熟，现在AdMaster还是以Lambda架构为主。针对这一缺点，AdMaster后期运维时从算法、架构、数据方面，增加算法和模块重用，这样可以保障只需把架构相关部分重写，算法和数据保持原貌，对于计算过的方面直接用，可以最大限度的减少重复。
　　在采访最后，刘喆老师说道："暂时看来，Lambda架构可以满足AdMaster自身业务线需求，基本上会继续沿用，直到某一天，社区真的出现了终极融合方案，可能会考虑"。

欢迎光临开发者俱乐部 (http://xodn.com/)