【.com原稿】2018年5月18-19日，由公司主办的全球软件与运维技术峰会在北京举行。来自全球企业的技术精英齐聚北京，共话软件技术前沿，共同探索运维技术新边界。本次大会，除了星光熠熠的主论坛外，12个分论坛各具特色，聚焦最受关注的容器、AI、区块链、大数据、高并发、物联网等前沿技术领域. 当前，数字化在为企业带来业务创新、促进企业快速发展的同时，也给企业的IT系统带来严峻挑战。如何通过技术手段让系统能够并行处理更多的请求，降低延迟和响应时间，提升性能，提升用户体验，成为各大企业必须解决的难题。例如，每年的4.18、6.18、11.11等电商购物狂欢节，对电商企业的IT系统都是一次巨大的考验。无论是淘宝、京东还是苏宁，都必须做好面对高并发需求的IT系统。先进的技术支持，确保系统经受住流量高峰期的考验，确保用户顺利完成整个购物过程。 那么，面对流量高峰，不同公司如何通过技术手段解决高并发问题呢？本次WOT峰会举办了分论坛进行讨论。19日下午的《高并发与实时处理》分论坛上，同程艺龙机票事业群王晓波、51信用卡大数据架构师刘建辉、游米通信云科技副总裁余军鹏、廖新浪微博实时流技术平台博负责人廖从高并发下缓存的治理、大数据产品的进阶之路、实时音视频海量并发之路、实时流计算平台和应用模式，给观众带来了高水准的体验。并发技术应用的饕餮盛宴。 高并发下的缓存治理 众所周知，高并发是一个系统工程，而I/O是IT系统无法实现高并发的主要原因之一。解决I/O速度的问题，简单的方法就是把计算结果暂存起来。这种暂存方式就是缓存。缓存技术的应用虽然可以很好的解决高并发的问题，但是由于缓存系统的崩溃问题，大部分缓存系统的崩溃并不是来自于缓存系统本身的性能不足，而是由于随机的各种系统使用缓存，无脑使用等原因。为此，同程艺龙机票事业群王晓波从如何用好缓存的技术问题出发，结合自身实际业务情况，在《高并发下缓存的治理》发表了主题分享。 王小波表示，缓存管理的难点主要集中在三个方面：一是如何让应用合理无意义地使用缓存；另一个是如何迁移已经被乱用的现有缓存。第三是缓存的研发计划，是选择自研方案还是开源方案。 王小波介绍，在缓存治理实现之前，缓存杂乱无章，对系统来说是一场噩梦。经过治理，由于缓存的正确使用，使用场景的隔离，数据量分配的合理化，缓存和存储的分离，系统效率得到了很大的提升。他举例说，过去经常发现一些TB级容量的超大缓存。仔细一看，它们不是一个场景下的数据，也不属于同一类数据。导致系统瘫痪。经过治理，这些危机都得到了解决。他强调，对于应用系统用户来说，这些治理过程是不敏感的，对他们的日常使用没有影响。只有这样才能达到缓存治理的目的。 实时音视频的海量并发方式 随着语音视频技术在各个领域的广泛应用，通信行业的IT系统要解决带来的高并发需求确实相当困难关于通过海量音视频。悠米通信云科技副总裁于俊鹏在《实时音视频海量并发之道》的主题分享中提到，当前实时音视频领域目前面临四大挑战：一是网络全球化的挑战；第二，来自移动平台的挑战；第三，首先是来自运维部署的挑战；四是来自客户的挑战。 余俊鹏表示，发现音视频海量并发问题时，人们往往首先想到的是去中心化和高并发支持。其实除了这种方法，高并发压力也可以通过智能路由来解决。他强调，如果企业需要开展全球业务，比如欧洲、美国、印尼的线路需要与国内互通，直连的效果并不好。这种情况下，通过智能路由选择一条更好的线路就更容易了。解决高并发问题。 有米通信的智能路由设计方案是先上报网络节点和客户端之间的延迟、丢包、线路拥塞等，检测和接入服务，汇总，最后传输一个通用的数据模块提供数据给重定向服务。对于上报的数据，可以通过Dijkstra算法计算任意两点之间的最优路径。 实时流计算平台及应用模式 微博业务对数据处理的实时性要求非常高。比如大家熟悉的微博热词，需要在极短的时间内完成数据处理，才能在线上系统中使用。借助WAIC实时流计算平台，新浪微博提供可靠的毫秒级、秒级实时数据处理服务，通过提供统一的数据源和可配置的接入方式，帮助提升微博的开发效率。新浪微博实时运营。降低部门开发和运营成本。 新浪微博实时流技术平台负责人廖博在的分享中提到，WAIC实时流计算平台采用了相对成熟的技术，如Storm、Kafka、Scribe、Flume、HTTP、以及用于平台建设的Docker。基于统一监控平台、实时数据对账系统、实时数据源，采用新浪自主研发的weipig开发框架，沉淀实时计算方式，配置开发工具。他表示，WAIC平台满足了新浪微博实时标注、Feed、Push等服务的实时特征生成，以及图片、音频、视频等多媒体文件分析的业务需求。 廖博表示，吞吐量和可扩展性是测试实时流技术的重要标准。目前WAIC实时流计算平台的吞吐量在40W/s左右。在可扩展性方面，WAIC平台采用插件式接入方式。只需要根据规范开发相应的微博，抽象出访问方式，制定相应的规范即可。这样需要扩展的实时集群只能按照规范进行连接。 大数据产品的推进之道 说到大数据应用，很多用户会想到Spark、Flink等，一行代码更多的是根据大数据的计算稳定性和业务形态来做做好用户服务工作。 在以《大数据产品进阶之道》为主题的分享中，刘建辉从常规大数据架构、大数据用户需求和数据产品构建三个方面，结合51的实际业务，详细介绍了如何推进大数据产品信用卡。他说，在做大数据产品之前，要搞清楚企业大数据的核心用户是谁。以51信用卡为例，公司最需要大数据产品的用户有三类：一类是数据分析师，他们会根据大数据筛选规则。二是算法策略人员。第三是运营、产品和设计人员。虽然他们在使用大数据方面还欠缺经验，但仍然可以从数据的角度去规划产品。 刘建辉强调，在大数据的选择上，要始终坚持可执行的方案，始终满足用户业务场景的需求，始终选择易用、稳定、可靠的方案。只有这样，才能保证大数据产品的快速落地和应用。 以上内容是记者根据WOT2018全球软件与运维技术峰会《高并发与实时处理》分论坛发言内容整理而成。更多WOT资讯请关注51cto.com。【原创稿件，合作网站转载请注明原作者和出处为.com】
