【.com原稿】七年磨一剑，华丽蜕变。自2012年以来，已连续6年举办15场峰会，云集一大批技术专家，胸怀大任，厚积薄发。2018WOT全球软件与运维技术峰会于5月18日起航，聚焦12大核心热点，汇聚60位海内外一线专家，打造高端技术盛宴！5月19日下午，会场C“高并发与实时处理”专场，新浪微博实时流技术平台负责人廖波带来精彩分享。会前，记者有幸对其进行了采访，并就“WAIC实时流计算平台的成长与再生产”这一话题进行了深入交流。随着新浪微博业务的不断推进，对数据处理的实时性要求越来越高。比如大家熟悉的微博热词，需要在极短的时间内完成数据处理，才能在线上系统中使用。WAIC实时流计算平台为新浪微博提供可靠的毫秒级、秒级实时数据处理服务。通过提供统一的数据源和可配置的接入方式，帮助提升新浪微博实时运营的开发效率，降低部门开发成本。运营成本。据新浪微博实时流技术平台负责人廖波介绍，WAIC实时流计算平台经历了三个发展阶段：第一个阶段是各种需求驱动的自由发展期。本阶段将开展实时计算技术的研究和商业应用；第二阶段，随着行业的发展和业务对实时数据处理需求的快速增长，迫切需要一个实时流计算平台来支撑业务快速发展的需求。完成实时流计算平台的初步建设；第三阶段为繁荣成长阶段，包括统一监控平台、实时数据对账系统、实时数据源建设等基础设施建设，以及样本生成平台和第三方特征接入平台等子——服务平台。WAIC实时流计算平台采用storm、kafka、scribe、flume、http、docker等相对成熟的技术进行平台建设，基于统一的监控平台、实时数据对账系统、实时数据源。开发框架进行实时计算方法和配置开发工具的沉淀。据介绍，WAIC平台满足了新浪微博实时标注、feed、push等服务的实时特征生成，以及图片、音频、视频等多媒体文件分析的业务需求。业内人士都知道，吞吐量和可扩展性是测试实时流技术的重要标准。目前WAIC实时流计算平台的吞吐量在40W/s左右。在可扩展性方面，WAIC平台采用插件式的接入方式，只需要根据规范开发相应的微博即可：首先抽象出接入方式，制定相应的规范。需要扩展的实时集群只需要按照规范进行连接即可。***，廖博提到，WAIC实时流计算平台还有一些未解决的问题，包括实时流计算任务的统一资源调度、统一的病例追踪平台、多媒体分析平台、多房间多网络等灾难恢复。其中，前三项是下一步新浪微博实时流媒体技术平台建设的重点。【原创稿件，合作网站转载请注明原作者和出处为.com】
